I januar 1944 fikk Olsen en forfremmelse da han ble ansatt på Grini. Her tjenestegjorde han som del av Jugendabteilung (ungdomsavdelingen) knyttet til den tyske Sicherheitsdienst. Hans oppgaver inkluderte å fremme nasjonalsosialistisk ideologi blant fangene og rekruttere frivillige til fronttjeneste for Tyskland.