Han ble løslatt i juli 1954 etter Stalins død og etter utnevnelsen av Imre Nagy som statsminister i 1953. Kádár tok imot tilbudet om å fungere som partisekretær i det tungt industrialiserte 13. distrikt i Budapest. Han steg raskt i gradene og bygget opp en stor krets av tilhengere blant arbeidere som forlangte økt frihet for fagforeninger.