Han utdannet seg som skrivemaskinmekaniker, ble med i fagforeningens ungdomsgruppe da han var 17. Han ble medlem i det Ungarske Kommunistparti i 1931. Flere ganger ble han arrestert for ulovlig politisk aktivitet og i 1933 ble han dømt til to års fengsel. Senere, som et dekke for ulovlige kommunistaktiviteter, ble János Csermanek med i det ungarske Sosialdemokratiske Parti og satt i komiteen i dets avdeling i Budapest.