Scott nunca dejó del todo el alcoholismo y reincidió muchas veces; tuvo muchos pleitos de taberna y una acusación por acoso sexual, y estuvo casado cinco veces, dos de ellas con la misma esposa, Colleen Dewhurst (1960 y 1965), con la que tuvo dos hijos; adicionalmente tuvo romances extramaritales fugaces con algunas actrices de renombre como Ava Gardner.