Olsen ble utdannet jurist i 1882 og ble året etter ansatt i Indredepartementet. Han var konstituert som amtmann i Smaalenenes amt 1888–1889, og ble deretter i 1890 ekspedisjonssekretær i Indredepartementet. Denne stillingen hadde han til han ble utnevnt til amtmann i Søndre Bergenhus amt i 1898.