Nach dem Krieg war Zawadzki arbeitslos. Seit 1922 war er Mitglied des Kommunistischen Jugendverbandes in Polen und seit 1923 der Kommunistischen Arbeiterpartei Polens. In der Folgezeit wurde er aufgrund dieser Aktivitäten mehrmals verhaftet, da die Kommunistische Partei im Polen der Zwischenkriegszeit kriminalisiert wurde und so Aktivität in ihren Reihen illegal war. Zwischen den Freiheitsstrafen unternahm er mehrere Reisen in die Sowjetunion. 1939 verbüßte er eine Gefängnisstrafe in Brest und wurde nach der Einnahme der Stadt durch die Sowjets freigelassen. Zunächst arbeitete er bis 1941 in der Kreisverwaltung Pinsk, nach dem deutschen Überfall auf die Sowjetunion 1941 wurde er zunächst in die Umgebung Stalingrads evakuiert, wo er in einem Bau-Bataillon der Roten Armee tätig war. 1942 wurde er auf Intervention Georgi Dimitroffs aufgrund von Herzproblemen von dieser Tätigkeit entbunden und als Bergbauarbeiter in der Nähe Nowosibirsks eingesetzt.