Han debuterte i 1925 med romanen . Samtidig med forfatterskapet arbeidet han også som journalist i Morgenbladet. Karakteristisk for forfatterskapet ble etterhvert en lang rekke romaner med biografiske og dokumentariske trekk, hvor trilogien om Karl Johan 1940-42 må regnes som et hovedverk. Hauge har ellers skrevet romaner og kulturhistorisk om Ove Bjelke og Austråttborgen, om keiserinne Teodora av Bysants, Carsten Anker, Haakon VII, Iver Huitfeldt, Ulefos Jernværk, Morgenbladets historie, Bogstad gård, Blindeskolen og Slottet. Andre av hans romaner henter miljø fra antikkens Athen og Roma, fra spansk middelalder og fra dansketiden.