No está estrictamente prohibido pero podría ser complicado. El visado es válido y no debería ser rechazado automáticamente sólo porque fue emitido por Noruega.
Pero también es un visado de una sola entrada, lo que implica que no eres un viajero habitual/de confianza y que se emitió pensando en un viaje concreto. Cuando solicitaste ese visado, debiste proporcionar al consulado noruego los detalles de un viaje que no puede haber sido una escala de 4 días de camino a Estados Unidos (pues te habrían dirigido al consulado alemán si ese fuera el caso).
Los guardias fronterizos alemanes lo sabrán precisamente porque el visado fue expedido por Noruega y es probable que te interroguen al respecto y, en general, examinen tu situación con más atención de lo habitual. Si no están convencidos de que sigues cumpliendo las condiciones y de que tienes una buena razón para cambiar tus planes o, peor aún, piensan que has mentido para conseguir el visado en primer lugar, te denegarán la entrada y posiblemente revocarán o anularán el visado.
Además, las pruebas anecdóticas sugieren que Alemania es estricta al respecto y otros usuarios han tenido problemas allí .