Llegó a contraer nupcias con la primogénita del dictador, Flor de Oro Trujillo (1932-1938), Danielle Darrieux (1942-1947), Doris Duke (1947-1951), Barbara Hutton (1953-1954) y Odile Rodin (1956-1965).