Etter løslatelsen i 1931 ble han med i sovjetisk etterretning og han ble et hemmelig medlem av kommunistpartiet i Polen. Etter Stalins beslutning om å oppløse den polske kommunistpartiet i 1938, emigrerte Żymierski til Frankrike, men kort tid etter utbruddet av den andre verdenskrig kom han tilbake til Polen.