Olsen satt i kommunestyret i Bremnes én periode 1928-1931. Ellers hadde han en rekke verv i avholdsorganisasjonen IOGT, Den Indre Sjømannsmisjon, Det Norske Misjonsselskap og Bremnes helselag.