Han ble arrestert i 1937 av Horthy-regimet og sendt i fengsel i tre år. Da han ble satt fri drog han ikke til Sovjetunionen, men drev kommunistpartiets undergrunnsvirksomhet sammen med sin venn László Rajk. Fra 1943 gjorde han dette under navnet János Kádár. (Kádár betyr «bøkker» på ungarsk.) I 1944 prøvde han å krysse grensen til Serbia for å få kontakt med Titos partisaner. Han ble arrestert og sendt med en transport jøder til Mauthausen konsentrasjonsleir. På veien til Komarno greide han å unnslippe og drog tilbake til Budapest.