Willy Rumpf var arbeidersønn og tok mellom 1917 og 1920 utdannelse i forsikring. I 1925 ble han medlem av KPD. Under nasjonalsosialismen satt han flere ganger i fengsel og i konsentrasjonsleir. Mellom 1940 og 1942 var han medlem av motstandsgruppen Robert Uhrig.