Den 28. januar 1929 giftet Siegel seg med Esta Krakower, søsteren til leiemorderen Whitey Krakower. Sammen fikk de to døtre; Millicent og Barbara.