Privatlivet hans var preget av forholdet til skuespillerinnen Elizabeth Taylor, som han var gift med to ganger. De møttes under innspillingen av , og forlot begge sine respektive ektefeller for å gifte seg med hverandre. Det var barn i begge ekteskap, og forholdet ble samtidens store sositetsskandale.