Hans foreldre var jødiske Frank og Frieda Lipschitz, som hadde innvandret fra Pinsk, nå i Belarus. Han bodde i samme nabolag som Calvin Klein, men det er usikkert om de noen gang møttes mens de bodde der.