Hauge ble cand.jur. i 1886 og var ved Utenriksdepartementets kontor i Stockholm noen år før han i 1889 ble tilknyttet den svensk-norske legasjon i London som attaché. Dernest var han ved legasjonen i Paris i 1890 og legasjonen i Berlin i 1891. Etter en tid som kansellist, var han fra 1897 kammerherre ved Det kongelige hoff. Fra 1901 var han legasjonssekretær ved den svensk-norske legasjonen i Washington. Etter unionsoppløsningen i 1905 ble han den 31. oktober 1905 utropt som den første chargé d'affaires stasjonert ved den nye Norges legasjon i Washington. Han samarbeidet en del med bergenseren Johan Anton Wolff Grip (1844–1922) som hadde fortsatt som svensk sendemann i Washington frem til høsten 1906. Den 21. mars 1906 ble det i statsråd klart at han Hauge ble minister samme sted. Sideakkreditering til legasjonen i Mexico fulgte like efter. Men, Hauge satt bare ett år og rakk bare såvidt å komme i gang med byggingen av legasjonens bygning. Hauge, som var gift med en amerikaner, døde nemlig på skitur ved Voksenkollen rett før jul. Han ble etterfulgt av Ove Gude (1853–1910). Hauge mottok St. Olavs Orden og Kong Oscar IIs jubileumsmedalje, og var ridder av den svenske Nordstjerneordenen.