Nikos Zachariadis nació en Edirne, Valiato de Adrianópolis, Imperio otomano, en 1903, en una familia de etnia griega. Su padre, Panagiotis Zachariadis, era de origen pequeño burgués y trabajaba en la compañía Regie, una empresa francesa que poseía el monopolio del tabaco en Turquía. En 1919, Nikos Zachariadis se trasladó a Constantinopla, donde desarrolló distintas actividades. Durante esa etapa llevó a cabo sus primeras tareas organizadas en el movimiento obrero. Después de la derrota de Grecia en la guerra greco-turca y el intercambio de población entre los dos países, la familia Zachariadis fue reubicada en Grecia y cayó en la pobreza. Entre 1922 y 1923 viajó a la Unión Soviética, donde se unió al Komsomol. Estudió en varias instituciones políticas y militares del gobierno soviético y de la Internacional Comunista, incluida la Escuela Internacional Lenin.