Mellom september 1942 og juni 1944 var Olsen ansatt ved det tyske Reichskommissariat i Stavanger. Her arbeidet han i kulturavdelingen med hovedoppgaver innen propagandavirksomhet. Samtidig var han nestkommanderende i Germanske SS Storm Rogaland og ledet idrettsaktiviteter. Olsen deltok også i den nazifiserte idrettsorganisasjonen og var tidligere aktiv fotballspiller i Lyn Storhaug før han ble medlem av Stavanger Idrettsforening (SIF).