Han var sønn av slippformann i Vágur og lagtingsmann Niels Nolsøe og hustru Anna Katrina Mortensen. Hans oldefars farfar, Dione Nolsøe, var bror av Poul, bedre kjent som nasjonalhelten Nólsoyar Páll. Oldefaren på morssiden, Jens Christen Mortensen, var bror av storkjøpmannen Johan Mortensen. Han var eldst av ti søsken; yngstebroren Eli Nolsøe var også lagtingsmann og minister.