Duvall se ha casado cuatro veces, con Barbara Benjamin (1964-1975), Gail Youngs (1982-1986), Sharon Brophy (1991-1996) y en 2004 se casó con la actriz argentina Luciana Pedraza, con quien convivía desde 1996.