Nielsen var samferselsminister i Atli Dams tredje regjering 1979–1981, og delte ansvaret for skolesaker med handels- og landbruksminister D.P. Danielsen. Nielsen var innvalgt på Lagtinget fra Suðuroy 1984–1994 og 1998–2011. Han var hele tiden medlem av Lagtingets formannskap, i 1987–1988, 1989 og 2008–2011 som lagtingsformann. Han var formann i Lagtingets utenrikskomité 1998–2004. I 2011 frasa han seg renominasjon til Lagtinget.