Han kom fra et fiskerhjem som sønn av Ole Olsen (kalt Óla á Dalinum) og Maren Elisabeth (Betti) Joensen. Han giftet seg med Judith Hansen, og de tok til seg en fostersønn. Olsen gikk skipperskole og drev hjemmefiske/kystfiske i hele sitt yrkesliv. Han var formann i kystfiskerlaget i Klaksvík.