Til tross for sitt ekteskap med Esta hadde Siegel flere elskerinner, blant andre Dorothy DiFrasso, en fremtredende kvinne i Hollywoods selskapsliv. Ved hjelp av DiFrasso og skuespillervennen George Raft fikk Siegel innpass i Hollywoods «indre sirkel», en fordel han angivelig brukte til å drive med pengeutpressing av filmstudioer. Siegel fikk etter hvert en ekstravagant livsstil, som han på selvangivelsen prøvde å forklare med at han tjente pengene sine på lovlig gambling i Los Angeles.