La ley de EE.UU. dice que hay que salir y entrar en EE.UU. con el pasaporte de EE.UU., pero los agentes fronterizos de EE.UU. no miran realmente los documentos de las personas que salen, por lo que no hacen cumplir esa parte de la norma.
En cuanto al regreso, como otros han señalado, puedes entrar en el país con tu certificado de naturalización, aunque es posible que tengas que dar más explicaciones que si tuvieras un pasaporte. Creo que en teoría podrías ser responsable de una tasa para obtener la exención del requisito, pero he leído en este sitio que en realidad no la imponen.
El mayor problema para volver a Estados Unidos con el certificado de naturalización sería probablemente la compañía aérea. Es posible que no acepten tu certificado de naturalización como prueba de admisibilidad en EE.UU., ya que no cumple con las normas sobre documentos de viaje, y si careces de visado estadounidense en tu pasaporte de Hong Kong, podrían negarse a dejarte embarcar.
Por lo tanto, obtener el pasaporte estadounidense en Hong Kong parece la forma más segura de hacerlo.