克林顿将军率领的英军会挥师北上侵犯弗吉尼亚，因此命令斯科特和伍德福德不得离开，直到局势表明克林顿的目标显然是林肯守御的查尔斯顿为止。1780年3月30日，斯科特在克林顿开始围城前不久抵达查尔斯顿。他在城内守军于1780年5月12日投降后被俘，然后作为战俘关押在距查尔斯顿不远的哈德尔波英特。虽然身为战俘，但英军却允许他在方圆约十公里范围内自由活动，还能同弗吉尼亚的熟人通信及交易。1780年伍德福德去世后，斯科特成为战俘营内弗吉尼亚将士福利待遇的主要责任人。他还于1781年1月30日及3月下旬因身体状况不佳