Olsen var hjemmehørende i Svingheim nederst i Knestanggrenda, og medlem av motstandsgruppen Vågårdsgruppa. Det var en undergruppe av Osvald-gruppen, som fra 1941 ble ledet av sjømannen Asbjørn Sunde.