Goodman var sønn av fattige jødiske immigranter fra tsarrussisk område. Han var det niende av tolv barn. Hans far, David Goodman, opprinnelig Gutman, (1873–1926), kom til Amerika i 1892 fra Warszawa i den russiske delen av det da delte Polen, og han ble skredder. Hans mor, Dora Grisinsky, (1873–1964), kom fra Kaunas, som er en by i litauisk område. De møttes i Baltimore i Maryland og flyttet til Chicago før Bennys fødsel.