为总统选举人。不幸的是，斯科特在政坛风声水起之时，却要面对家庭悲剧的打击。1797年，他定居弗吉尼亚州的儿子丹尼尔去世。1799年末或1800年初，最后一个儿子小查尔斯也撒手人寰。他的女儿玛莎于1799年嫁给之后当上联邦参议员的乔治·M·比布后迁居戴维斯县。另一个女儿玛丽（）则在斯科特从军期间出嫁并离开农场，最小的女儿南希（）在18世纪即将结束时离开农场，但终生未嫁。1804年10月6日夫人弗朗西丝去世后，斯科特搬到列克星敦，同女儿玛丽和女婿约翰同住。1805年10月，他把伍德福德县的农场转卖。18