Etter utdannelse arbeidet Olsen som lærer ved Tromsø Seminarium 1851, dernest i Hadsel og Christiania 1855, der han ble en ivrig talsmann for Nord-Norge, og var med på å stifte Nordlændingernes Forening i 1862, sammen med blant andre Elias Blix. Som ingeniør interesserte han seg for tekniske nyvinninger, og tok patent på en metode for blåkopiering. Som planlegger i jernbaneverket utviklet han ideen om Nordlandsbanen opp til Røsvik, samt ruten Mo i Rana–Haparanda–St. Petersburg-Peking (1881–1882).