Никос Захариадис е роден в 1903 година в Одрин, в заможно гръцко семейство на тютюнев експерт. От млад работи на пристанището в Истанбул като докер, и участва в стачното движение в града. След Гръцко-турската война и последвалата Малоазийска катастрофа, семейството му се изселва в Гърция и изпада в мизерия. През 1923 година той емигрира в СССР и се включва в комунистическото движение. През същата година, той е изпратен обратно в Гърция, за да организира Младежкия комунистически съюз. Заради дейността си е арестуван. Впоследствие успява да избяга обратно в Съветския съюз. Завършва Комунистическия университет на трудещите се от Изтока „Й. В. Сталин“ в Москва. През 1931 г. той е изпратен отново в Гърция за възстановяване силно разединената ГКП и през същата година е избран за неин генерален секретар. През 1935 г., по време на VII конгрес на Комунистическия интернационал, той е избран в неговия Изпълнителен комитет. В годините до 1936 г. Захариадис е успешен лидер на и утроява броя на членовете, като партията печели места в гръцкия парламент.