Han giftet seg i 1945 med Elisabeth (Lis) Winther, datter av kjøpmann og borgermester Mourits Winther og hustru Anne Carolina Theodora (Dora) Gaard i Klaksvík. De fikk ni barn, deriblant Rani og Eyðun Nolsøe, som er kjent fra musikkgruppen Frændur. Eli Nolsøe selv var også meget musikalsk.