Hauge gikk videre som privatpraktiserende høyesterettsadvokat fra 1954, men fortsatte å ha sitt kontor på Youngstorget, i kontorfellesskap med Arbeiderpartiet. Han ble utnevnt til justisminister i Einar Gerhardsens tredje regjering fra 22. januar 1955 mot sin egen vilje. Hauge ville helst fortsette sin advokatpraksisen og mente det ikke passet så godt for ham å gå inn i regjeringen. Da Gerhardsen påpekte at ingen hadde spurt ham om det passet heller, skjønte Hauge at han ikke hadde noe annet valg. Han gikk overraskende ut av regjeringen 1. november 1955, da han ikke fikk medhold i Stortinget i at embets- og tjenestemenn som var suspendert som følge av landssvik, men som ikke var medlem av Nasjonal Samling etter 24. november 1944, hadde krav på lønn i suspensjonstiden. Hauge mente man burde bøye seg for Høyesteretts tolkning, men stortingsflertallet mente at foreldelsen ga grunnlag for at man ikke trengte å betale ut lønn til embets- og tjenestemennene.