Nielsen ble styremedlem i den sosialdemokratiske foreningen i Hadsund i 1936 og medlem av Socialdemokratiets hovedstyre i 1945. Fra 1953 var han medlem av Folketinget for Nordjyllands amtskrets, og satt blant annet som formann i grønlandsutvalget 1962–1964 og medlem av Folketingets delegasjon til Nordisk råd 1964–1973.