El 14 de abril de 1956 Scott se casó con la también actriz Vera Miles, quien había sido su compañera de reparto; Scott se convirtió en padrastro de los hijos de Vera, Kelley Miles y Debra Miles.