Frihagen vokste opp i Åheim på Sunnmøre. Han tok examen artium som privatist 1913 og eksamen ved Volda lærerskole året etter. 1914–15 var han lærer ved Volda mellomskole og gymnas, og etter befalskurs ble han 1917 vernepliktig premierløytnant i Hærens Flyvevesen. Etter det startet han på jusstudiet ved universitetet i Kristiania og ble cand.jur. i 1922. 1928 hadde han studieopphold ved banker i Frankrike og Storbritannia.