Se casó por tercera vez con la actriz Mia Farrow en 1966, pero el enlace solo duraría dos años, así que se casó una cuarta y última vez con Barbara Marx (exmujer de Zeppo Marx) en 1976.