Under krigen arbeidet han med illegale aviser, var med i Milorg, hjalp jøder og andre flyktninger over grensa til Sverige og samlet inn penger til arrestertes slektninger. Nordli ble valgt inn i NKPs sentralkomite på det utvidete sentralkomitemøtet partiet arrangerte i Oslo 31. desember 1941 - kamuflert som et nyttårsarrangement. På samme møte ble Peder Furubotn valgt til generalsekretær. Nordli ble etter hvert leder for NKPs militærapparat på Østlandet.