Siegel startet en kjærlighetsaffære med Virginia Hill, som bodde i et herskapshus i Beverly Hills. Det gikk rykter om at paret hadde giftet seg i Mexico.