Fue vinculado sentimentalmente a Dolores del Río, Eartha Kitt, Marilyn Monroe, Ava Gardner, Rita Hayworth, Soraya Esfandiary, Peggy Hopkins Joyce, Joan Crawford, Veronica Lake, Kim Novak, Judy Garland, y Zsa Zsa Gabor, varias fueron relaciones extra maritales.