Han var statsråd i 1888–89, dels justisminister, dels finansminister. Deretter var han amtmann i Nordre Bergenhus amt (Sogn og Fjordane) fram til 1902, med unntak av perioden 1896–98, da han var tilbake som regjeringsmedlem, først i statsrådsavdelinga i Stockholm, deretter i Indredepartementet. I 1902 blei Olsen utnevnt til borgermester i Bergen.