Han var gift tre ganger. Årene 1942–1947 var han gift med skuespillerinnen Zsa Zsa Gábor. Han er oldefar til Paris Hilton.