Olsen vokste opp på Montebello i Oslo og utdannet seg som flyger i Widerøe før annen verdenskrig. Etter at krigen brøt ut gjennomførte han noen mindre sabotasje- og etterretningsaksjoner, ble tatt til fange, men rømte ved Lysaker bru under transport til avhør i Oslo. Olsen forlot Norge ombord på den 18-fots store seilbåten SB «Haabet» den 2. september 1940 sammen med sin kamerat Kåre Moe og Rolf Gabrielsen. Etter tjueåtte dagers overfart med åtte dagers storm ble båten plukket opp av destroyeren HMS «Beduin» 20 nautiske mil utenfor Themsen i Den engelske kanal.