Olsen var medlem av heradsstyret i Vanse, ordfører 1877-89. Han var medlem av amtsutvalget, og styremedlem i Norges Banks avdeling i Kristiansand fra 1898. Ellers var han medlem av kongelige kommisjonær om navigasjonsloven (1884) og om tolloven (1898).