Han vokste opp i den dansktalende embedsmannsstanden i Tórshavn som sønn av den islandskættede fogden og amtmannen Hannes Finsen og dennes første hustru, danske Johanne Formann. Blant hans søsken var medisiner og nobelprisvinner Niels Ryberg Finsen samt postmester Vilhelm Hannes Finsen. Olaf var den av brødrene som Niels var nærmest knyttet til, og 172 brev fra Niels er bevart. Som barn var de også ivrige tilskuere av vanlige færøyingers gjøremål, især grindhvalfangsten, hvor faren ikke tillot sønnene å være med.