I april 1944 kom Olsen i kontakt med Rinnan-agentene Syvertsen og Berge, som tilbød ham en jobb i Trondheim. Han ble deretter en aktiv deltaker i Sonderabteilung Lola, også kjent som Rinnanbanden, der han arbeidet helt fram til kapitulasjonen i mai 1945.