TL;DR: Sí, como ciudadano no perteneciente al EEE, necesitas llevar un pasaporte en la situación que describes en tu pregunta.
En primer lugar, tanto la ley nacional austriaca como la alemana requieren que todas las personas lleven un pasaporte u otro documento de viaje reconocido al cruzar sus respectivas fronteras. Este requisito también se aplica al cruce de fronteras internas del espacio Schengen, aunque no se realizan controles permanentes de inmigración. Al menos en teoría, no debería haber controles permanentes de inmigración en la frontera germano-austriaca. En realidad, desde 2015, los controles de inmigración al viajar de Austria a Alemania son bastante comunes. La policía alemana opera controles permanentes en todos los cruces de autopistas entre Austria y Baviera y los trenes de Austria a Alemania son inspeccionados muy a menudo en la primera parada en Alemania. Según mi experiencia de los últimos años, estimaría que al menos 2/3 de todos los trenes de Salzburgo a Alemania son inspeccionados por la policía federal en Freilassing. La policía camina por el tren y obviamente ignora a todos los pasajeros blancos, mientras que pide identificación a los pasajeros con un tono de piel más oscuro. Siempre me han 'dejado pasar' cuando conduzco de Austria a Alemania en coche y nunca me han detenido, pero nuevamente, soy un hombre blanco conduciendo un coche con matrícula alemana.
Luego tenemos la situación especial con los trenes austriacos entre Salzburgo y Kufstein, que atraviesan Alemania sin detenerse. Debido a las montañas y la geografía, es más fácil en la práctica conectar las partes más occidentales de Austria con el resto del país conduciendo a través de Alemania. Estos trenes han sido operados desde 1957 como tráfico de tránsito privilegiado, lo que significa que los trenes no están sujetos a controles fronterizos. Aunque leí en el artículo de Wikipedia en inglés que este acuerdo cesó en 1997 cuando entró en vigor el Acuerdo de Schengen, creo que eso está mal. Al menos puedo encontrar imágenes de placas de destino de trenes de 2005, donde se declaraba a los trenes como 'trenes de corredor'. El acuerdo seguramente tenía más impacto práctico antes del acuerdo de Schengen, ya que significaba que no había control de pasaportes en estos trenes, aunque cruzar la frontera austriaco/alemana en ese momento normalmente implicaba que te revisaran el pasaporte o la identificación. Ahora, todavía tiene relevancia para las aduanas. Aunque Austria y Alemania están en la UE, algunos bienes de consumo, como el tabaco y el café, son significativamente más baratos en Austria y solo se pueden llevar libremente a Alemania en cantidades limitadas. También significa que los requisitos para cruzar la frontera que mencioné en la introducción (llevar un documento de viaje reconocido) no se aplican en estos trenes.
Hay, sin embargo, un 'cuando' y 'pero' más en esta historia, ya que estás preguntando sobre los requisitos para un ciudadano no perteneciente a la UE (asumo que en realidad te refieres a no perteneciente al EEE) en esta situación. Según la ley, como ciudadano no perteneciente al EEE en Austria estás obligado, si así se te solicita, a poder mostrar tu pasaporte a las autoridades sin demoras injustificadas, lo que en la ley se define como 'dentro de una hora'. Así que, finalmente, incluso si el hecho de que el tren atraviese Alemania no desencadena por sí solo un requisito de llevar un pasaporte, de todos modos necesitarías llevar el pasaporte, siempre que estés a más de una hora de distancia de donde realmente guardas tu pasaporte.
