Hauge er født og oppvokst på gården Hauge i Gloppen. Han gikk på Firda videregående skole fra 2005 til 2008. Fra 2010 til 2014 tok han utdannelse som grunnskolelærer ved Høgskulen i Bergen, og ble adjunkt. Han var samtidig kommunestyremedlem i Gloppen (2011-2015). Før Stortingsvalget 2013 og Stortingsvalget 2017 var Hauge valgkampsekretær for Sogn og Fjordane Venstre og førstekandidat Sveinung Rotevatn.