Zachariádis nimitettiin KKE:n pääsihteeriksi Josif Stalinin ja Kominternin määräyksestä. Ioánnis Metaxáksen hallinto pidätti hänet vuonna 1936. Italian hyökättyä Kreikkaan lokakuussa 1940 vankilassa yhä ollut Zachariádis kannatti kreikkalaisten yhtenäistä antifasistista vastarintaa. Saksan valloitettua Kreikan keväällä 1941 hänet siirrettiin Dachaun keskitysleirille, josta amerikkalaiset sotilaat vapauttivat hänet toukokuussa 1945. Vankeutensa vuoksi Zachariádis ei voinut osallistua miehityksen aikaiseen vastarintaliikkeeseen. Kreikkaan palattuaan hän kuitenkin palasi puolueen johtoon vt. pääsihteerinä toimineen Geórgios Siántoksen tilalle.