Aunque nació y fue criado en Virginia, Scott permaneció leal a la Unión a la cual había servido la mayor parte de su vida y rehusó dejar su puesto aún habiendo dejado de pertenecer a la Unión su Estado natal.