Родился в семье табачника, с юности работал в порту грузчиком, участвовал в забастовочном движении. Окончил московский Коммунистический университет трудящихся Востока им. И. В. Сталина. С 1936 до 1945 года неоднократно был заключённым греческих тюрем и немецких концентрационных лагерей. В мае 1945 года вернулся из немецкого лагеря Дахау, выступил перед 200 000 сторонников. В греческой гражданской войне 1946—1949 годов командовал Демократической армией Греции. Война закончилась поражением армии Захариадиса, после чего он вместе со штабом КПГ перешёл в Албанию, затем в Бухарест. Поддержал Сталина, резко выступая против Тито.