Hauge ble cand.theol. i 1877 og var deretter kapellan i Skien, sjømannsprest i Storbritannia, og sogneprest i Brevik, Eidanger og Skien.