Siegel tuvo varias relaciones con actrices, incluyendo de la alta sociedad Dorothy DiFrasso, la esposa de un conde italiano.