Nach dem Putsch am 4. August 1936 wurde die kommunistische Partei verboten. Belogiannis setzte unter illegalen Bedingungen den Kampf gegen Faschismus und Krieg fort. Im Dezember 1936 wurde er jedoch vom Metaxas-Regime inhaftiert. Im Juni 1937 kehrte er nach Patras zurück und übernahm dort die Führung der illegalen KKE. 1938 wurde er erneut verhaftet und verurteilt, diesmal zu fünf Jahren Haft und zwei Jahren Verbannung. Die Haftzeit verbrachte er im Akronauplia-Gefängnis (Nauplion) und blieb auch dort, als Griechenland 1941 von deutschen Truppen besetzt wurde. Er konnte 1943 fliehen und schloss sich der Partisanenbewegung ELAS unter Aris Velouchiotis an. Er war Funktionär der kommunistischen Demokratischen Armee Griechenlands (Dimokratikos Stratos Elladas, DSE) und verließ das Land nach deren Niederlage im Griechischen Bürgerkrieg 1949.