Han ble født i Bærum som sønn av foreldre fra Oslo og Hammerfest. Han arbeidet som bilmekaniker i Bærum. Under okkupasjonen av Norge av Nazi-Tyskland sluttet han seg til Milorg i 1943. Han var en del av en gruppe kalt Barlindgjengen, opprinnelig bestående av menn fra Jar i Bærum. I mai 1944 ble gruppen innkalt til sabotasjeopplæring under ledelse av Per Røed; leiren lå i Bærumsmarka. Gruppen ble en del av distrikt 13s sabotasjeskvadron Aks 13000, opprettet i 1944. Olsen ble en viktig adjutant for Aks 13000-staben.