Su padre, William Howard Duvall, fue almirante en la Armada de los Estados Unidos, procedente de una familia de raíces francesas; su madre fue una actriz aficionada descendiente del general Robert E.