Han vokste opp i Vágur som sønn av slippformann og lagtingsmann Niels Nolsøe og hustru Anna Katrina Mortensen. Han var yngst av ti søsken; eldstebroren Dion Nolsøe var også lagtingsmann. Deres oldefars farfar, Dione Nolsøe, var bror av Poul, bedre kjent som Nólsoyar Páll. Oldefaren på morssiden, Jens Christen Mortensen, var bror av storkjøpmannen Johan Mortensen.