Nikos Zachariadis, 1903'te Osmanlı İmparatorluğu'ndaki Edirne Vilayetinde etnik bir Rum ailesinde dünyaya geldi. Babası Panagiotis Zachariadis, küçük burjuva kökenliydi ve Türkiye'de tütün tekeline sahip Fransız bir firma olan Regie şirketinde uzman olarak çalıştı. 1919'da Nikos Zachariadis, bir asker de dahil olmak üzere çeşitli işlerde çalıştığı İstanbul'a taşındı. Orada ilk organize çalışmasını işçi sınıfını harekete geçirerek gerçekleştirdi. Yunan-Türk Savaşı sırasında Yunanistan'ın yenilmesi ve iki ülke arasındaki nüfus mübadelesinden sonra Zachariadis ailesi zorla Yunanistan'a götürüldü ve yoksullaştı. 1922-23 yıllarında Komsomol'a üye olarak Sovyetler Birliği'ne gitti. Uluslararası Lenin Okulu da dahil olmak üzere Sovyet Hükûmeti ve Komintern'in çeşitli siyasi ve askeri kurumlarında eğitim gördü.