Rumkowski huskes spesielt for sin rystende og tragiske tale 4. september 1942, «Gi meg barna deres». Etter åpningen av utryddelsesleiren Chelmno mot slutten av 1941 tvang tyskerne Rumkowski og det jødiske rådet til å organisere deportasjonen av en del av ghetto-befolkningen. Sommeren 1942 var 55.000 jøder fra Łódź alt myrdet i Chelmno, men i september 1942 forlangte tyskerne enda en massedeportasjon, og avkrevde ghettoen 20.000 barn og gamle sendt til tilintetgjørelse i Chelmno. Rumkowski bad innbyggerne om å utlevere barn under ti år og personer over 65, så andre fikk leve; men bare 877 jøder overlevde nedstengningen av ghettoen i 1944, de fleste fordi polakker holdt dem i dekning.