Sus padres, Jennie (Riechenthal) y Max Siegel, trabajaron constantemente por magros salarios.Siegel, el segundo de cinco hijos, prometió que iba a elevarse por encima de esa vida.De niño, Siegel abandonó la escuela y se unió a una banda en Lafayette Street en el Lower East Side de Manhattan.