Im Mai 1933 oder nach anderen Angaben erst im Mai 1935 kehrte Kowalke nach Deutschland zurück und schloss sich in Berlin dem antifaschistischen Widerstand an. Die Nationalsozialisten hatten die Absicht, ihn zu verhaften, so dass er im November desselben Jahres ins Ausland emigrierte. Er war zunächst im AM-Apparat der Auslandsleitung der KPD tätig. Zeitweise hielt er sich in Danzig auf und kehrte nach der Verhaftung seiner Kontaktleute nach Prag zurück. Im Auftrag seiner Partei arbeitete er in der Prager Abschnittsleitung, die den kommunistischen Widerstand in Mitteldeutschland organisierte. 1937 wechselte Kowalke zur Abschnittsleitung West nach Amsterdam. Als Instrukteur des ZK der KPD überschritt er mehrmals illegal die deutsch-niederländische Grenze und war in Bremen, Dortmund und im Aachener Raum tätig. Er konnte dort Informationen über die Lebenswirklichkeit im nationalsozialistischen Deutschland sammeln. Nach dem Beginn des Überfalls auf die Sowjetunion 1941 arbeitete er zunächst in der Illegalität in Westdeutschland und dann in Berlin. Kowalke gehörte zum Kern der Widerstandsorganisation um Wilhelm Knöchel, den er aus der Zeit seines Amsterdamer Exils kannte. Mehrfach stellte Kowalke Kontakte zur Widerstandsgruppe um Robert Uhrig her und überbrachte Direktiven zur Organisierung des illegalen Kampfes. Während seiner Aufenthalte in Berlin wohnte er wahlweise bei dem Arbeitersportler Hans Zoschke oder dem Ehepaar Charlotte und Erich Garske. Er schrieb auch für mehrere illegale Blätter. Am 2. Februar 1942 – nach anderen Angaben 1943 – wurde Kowalke in Berlin verhaftet. Am 5. November 1943 verurteilte ihn der „Volksgerichtshof“ zum Tode. Das Urteil wurde am 6. März 1944 im Zuchthaus Brandenburg-Görden vollstreckt. Seine Urne wurde später in der Gedenkstätte der Sozialisten (Urnensammelgrab bei der großen Porphyr-Gedenktafel auf der rechten Seite der Ringmauer) auf dem Berliner Zentralfriedhof Friedrichsfelde beigesetzt.