Nielsen ble født på Vik i Helgeland, som sønn av stortingspresident Sivert Andreas Nielsen (1823–1904). Nielsen hadde planlagt å bli prest i Finnmark, og studerte derfor samisk og finsk etter å ha avlagt teologisk embedseksamen i 1896. Nielsen fortsatte å studere språk, og foretok flere språkreiser til Finland, Ungarn, Tyrkia. Fra 1911 til 1946 virket han som professor ved Universitetet i Oslo. Hans trebinds ble av omtalt som «et standardverk av internasjonalt format». Han sto også bak , utgitt i tre bind mellom 1932 og 1938. Nielsen virket også som oversetter, og etterlot seg ved sin død en oversettelse av det finske -eposet. Han var innvalgt i Det Norske Videnskaps-Akademi og medlem av det Finsk-Ugriske Selskap i Helsingfors.