Før Nazi-Tysklands invasjon av Polen var Rumkowski en ubetydelig, fallert forretningsmann som hadde slått seg ned i Łódź i 1917. I 1940 var han en barnløs enkemann i 60-årene, kjent som en energisk og autoritær fyr, blant annet leder av et barnehjem. Det gikk rykter om at han hadde antastet noen av de foreldreløse jentebarna der. 13. oktober 1939 utnevnte den nazistiske okkupasjonsregjeringen ham til (= jøde-eldste), dvs leder for i Łódź. I denne posisjonen rapporterte han direkte til lederen for den nazistiske ghettoadministrasjonen, Hans Biebow, og hadde personlig ansvaret for å skaffe varme, arbeid, mat, hus og helsetjenester til ghettobefolkningen. 5. april 1940 sendte Rumkowski en anmodning til den tyske okkupasjonsmakten om tillatelse til å sette sin arbeidsplan ut i livet. Hvis tyskerne leverte råstoffet, kunne jødene fremstille sluttproduktene mot betaling i penger og mat. 30. april 1940 ble hans tilbud akseptert, med én betydelig endring - jødene ville utelukkende få betaling i mat, og ingenting ble sagt om hvor store forsyninger som kunne påregnes, eller hvor ofte maten ville bli levert. Rumkowski foretok vielser etter at rabbinerne måtte legge ned arbeidet, hans navn ble brukt som kallenavn på ghettoens valuta ( eller ), og hans portrett var avbildet på ghettoens frimerker. 27. desember 1941 giftet han seg med en mye yngre kvinne, juristen Regina Wajnberger (1907-44).