En teoría, necesitas un pasaporte, pero es muy poco probable que alguien te lo pida.
Derecho húngaro dice (10. §)
Durante su estancia en Hungría, los extranjeros deben presentar un documento de identidad documentos o documentos que acrediten la legalidad de su estancia en el a las autoridades autorizadas por la ley a efectos de verificación.
que significa ( mi traducción, así que no es un texto legal )
Las personas extranjeras, durante su estancia en Hungría, están obligadas a presentar sus documentos de identificación y los documentos que acrediten la legalidad de su presencia a las autoridades competentes para verificación.
Según la página correspondiente (no lo he encontrado en inglés) de la Servicios consulares Para viajar a Hungría se necesita un pasaporte o un documento de identidad, y como en el Reino Unido no hay documento de identidad, sólo queda el pasaporte como "documento acreditativo de la legalidad de su presencia", por lo que debe llevarlo encima.
Por otro lado, a no ser que andes por lugares sombríos de noche solo o con una compañía visiblemente borracha, la policía no se preocupará por ti. (Vivo en Budapest y ahora mismo no se me ocurre nadie que conozca al que la policía le haya pedido que se identifique).