Under den tyske invasjonen kjempet Olsen i Infanteriregiment nr. 8 i Dirdal, under kommando av Leiv Lea. Lea ble senere distriktssjef for Milorg i Stavanger.