Nilssen var en moderat sosialist, og gikk inn i Norges Socialdemokratiske Arbeiderparti etter radikaliseringen av Arbeiderpartiet ved inngangen til 1920-tallet. Han var formann i utbryterpartiet 1921–1927. Ved gjenforeningen ble han nestformann i Arbeiderpartiet, noe han forble frem til 1939.