Av yrke var han utdannet gartner, og arbeidet i unge år som innleid arbeidskraft på gårdene i nærmiljøet. Senere bodde han i kårhuset på Hakestad, og hadde en liten frukthage. Fra 1978 var han gift med billedkunstneren Bodil Cappelen (født 1930). Hauge var festspilldikter ved Festspillene i Bergen i 1988. Hauges lyrikk er tydelig påvirket av detaljrikdommen og fasthetene i asiatisk lyrikk. Lyrikkens bilder og konkrete inspirasjon er fra det landlige lokalmiljøet, med internasjonal innflytelse i stil.