Han vokste opp på Toftir på Eysturoy som sønn av Jens Christian Olsen og halvbror av Jógvan I. Olsen, som begge har vært lagtingsmenn. Han har også, som sin far, tatt del i misjons- og avholdslag.