Han vokste opp i et fattig strøk i Hell's Kitchen og Bronx, New York. Hjemme snakket de jiddisch og Benjamin kunne nesten ikke engelsk da han begynte på skolen. Han lærte flere språk på high school, blant annet så godt fransk at han fungerte som tolk i Normandie under andre verdenskrig. Han studerte kriminalitetsforebygging ved City College (som var gratis og populært blant begavede fattige innvandrere, og ble omtalt som «de fattiges Harvard»), og fikk som en av de beste i klassen deretter stipend til å studere jus ved Harvard.