Olsen var født på gården Helvik like ved Vanse, faren hans var gårdbruker og sjømann. Selv reiste han til sjøs fra 1847, som skipper fra 1853. I 1871 slo hans seg ned på garden Kjørrefjord mellom Farsund by og Vanse, Der var han skipsreder og drev gården. Gården hadde han kjøpt i 1864. Årene 1899-1905 var han medlem av riksskattekommisjonen, da bodde han i Kristiania.