Teóricamente, sí, debes usar un pasaporte japonés.
De acuerdo con el Ley de control de la inmigración y reconocimiento de los refugiados los artículos 60 y 61 del capítulo 7 ( Traducción al inglés ):
Artículo 60 (1)
Cualquier ciudadano japonés (excepto los miembros de la tripulación) que salga de Japón con la intención de proceder a una zona fuera de Japón deberá poseer un pasaporte válido y recibirá la confirmación de su salida de un inspector de inmigración de conformidad con los procedimientos previstos en la Ordenanza del Ministerio de Justicia, en el puerto de entrada o salida del que salga dicha persona.
(2)
El nacional japonés mencionado en el párrafo anterior no saldrá del Japón a menos que haya recibido confirmación de su salida del país.
Artículo 61
Todo ciudadano japonés (excepto los miembros de la tripulación) que regrese a Japón desde un área fuera de Japón deberá poseer un pasaporte válido (un documento que certifique la nacionalidad japonesa si no puede poseer un pasaporte válido). y recibirá de un inspector de inmigración la confirmación de su regreso al Japón, de conformidad con los procedimientos previstos en la Ordenanza del Ministerio de Justicia, en el puerto de entrada o de salida en el que dicha persona desembarque.
Sin embargo, en la práctica no lo necesitas. Hay muchos japoneses menores de edad que fueron dados a luz por parejas de extranjeros japoneses que nacieron fuera de Japón, pero nunca he oído a nadie a quien se le haya negado la entrada o el regreso a Japón.