Woodford County
しかしスコットの政歴には悲劇も起こった。1797年、バージニア州で落ち着いていた息子のダニエルが死んだ。1799年遅く、あるいは1800年初期、最後に残っていた息子のチャールズ・ジュニアも死んだ。娘のマーサは後にアメリカ合衆国上院議員になったジョージ・M・ビブと1799年に結婚し、ケンタッキー州デイビース郡に移っていた。同じく娘のメアリーは結婚して、スコットが軍務から戻る前に農園を去っていた。末娘のナンシーは19世紀への変わり目頃に農場を離れたが、結婚はしていなかった。1804年10月6日に妻が死んだ後、スコットは娘のメアリーとその婿のジョン・ポスルスウェイトと共にレキシントンに移転した。1805年10月にはウッドフォード郡の農園を売却した。