Gomułka var først aktiv i fagbevegelsen, og ble medlem av Komunistyczna Partia Polski i 1926. Etter å ha sonet en toårig fengselsstraff på grunn av sin politiske virksomhet reiste han i 1934 til Moskva, hvor han han bodde i et år og gjennomgikk kommunistisk skolering. Da han kom tilbake til Polen i 1935 ble han arrestert igjen, og satt i fengsel det meste av tiden frem til utbruddet av annen verdenskrig.