I mai 1941, som en selverklært antikommunist, meldte Olsen seg frivillig til Regiment Nordland. Han fikk opplæring i Tyskland og ble deretter sendt til fronten på Østfronten i Sovjetunionen i desember 1941. Olsen tjenestegjorde i forskjellige enheter og var aktiv i kampene mot de sovjetiske styrkene. Han ble tildelt den tyske Østmedaljen (Winterschlacht im Osten 1941/42) og det norske frontkjempermerke for sin innsats på tysk side mot bolsjevismen.