people said I cannot go back the US without US passport,
Detta är inte korrekt. Å ena sidan måste du ha ett pass, men det finns inget straff för att bryta mot denna regel och ännu viktigare, amerikanska medborgare kan inte nekas tillträde till USA om det finns tillräckligt med bevis för att de verkligen är medborgare. Det finns ingen hård och snabb regel här men USCIS själv säger
You will receive your Certificate of Naturalization after taking the Oath of Allegiance. You may use your Certificate of Naturalization as official proof that you are a U.S. citizen.
Så måste gränsagenterna acceptera detta. Jag tror inte att det skulle gå så smidigt som att komma in med ett pass, men det borde fungera. Observera att flygbolaget kan ge dig svårt ombordstigning. Se länka till det här svaret.
thus can I apply the US passport in Hong Kong?
Ja. länk USAs naturaliseringscertifikat nämns igen.