Los padres de Siegel eran inmigrantes judíos que llegaron a New York en 1900, habiendo huido del antisemitismo de su nativa Lituania.