En 1936 fue arrestado por la Seguridad del Estado del régimen de Ioannis Metaxás y encarcelado. Desde la prisión, impulsó la unión de todos los griegos con el objeto de resistir la invasión italiana de octubre de 1940 y constituir un frente antifascista. El KKE conserva una carta abierta, escrita por Zachariadis, en la que expresaba “"Debemos dar todas nuestras fuerzas, sin reserva alguna, a esta guerra dirigida por el gobierno de Metaxás"", señalando que “"el premio para el pueblo trabajador y la culminación de esta lucha actual debe ser y será una nueva Grecia del trabajo, de la libertad, liberada de cada dependencia extranjera imperialista y explotación, con una cultura realmente popular"”.