Po agresji III Rzeszy na Polskę w nocy na 2 września 1939 po opuszczeniu więzienia przez strażników wydostał się na wolność. Brał udział w cywilnej obronie Warszawy, po kapitulacji miasta udał się na teren okupacji sowieckiej – do Grodna, następnie przeniósł się do Mińska. W 1940 przyjęty do WKP(b). Pracownik redakcji wydawanych w języku polskim pism: „Wolna Praca” w Grodnie i „Sztandaru Wolności” w Mińsku. Po wybuchu wojny niemiecko-sowieckiej w czerwcu 1941 zmobilizowany do Armii Czerwonej, służył w Zarządzie Politycznym Frontu Zachodniego. Zwolniony w stopniu kapitana, pracował w Komitecie Wykonawczym (KW) Kominternu w Ufie, potem w Moskwie w latach 1942–1944 zastępca kierownika Rozgłośni Radiowej im. Tadeusza Kościuszki nadającej audycje w języku polskim. Współpracował z pismami ZPP „Nowe Widnokręgi” i „Wolna Polska”, pisząc pod pseudonimem „Józef Kowalski”, który po wojnie stał się jego nazwiskiem. Od jesieni 1944 był zastępcą kierownika redakcji „Polpress”, a w latach 1945–1951 kierownikiem oddziału PAP. Z polecenia KC PPR przewodniczył partyjnej komisji powołanej w celu rewindykacji z ZSRR dokumentów dotyczących polskiego ruchu robotniczego.