Faren, Zorach, spilte i et lokalt orkester. Han klarte bare så vidt å brødfø sin lille familie, så Itschok, som var foreldrenes fjerde barn, ble adoptert av familien til morens stefar. Han fikk da navnet , i studietida endret han det til , og etter at han emigrerte i 1922 ble han kjent under navnet .