Olsen tok handelsgymnas i Stavanger, blant annet sammen med Solveig Bergslien og Einar Kåre Johannessen. Alle tre ble senere med i motstandsbevegelsen. Deretter arbeidet han som kontormann, og fra 1936 var han ansatt i Norske Shell.