デイヴィッド・カーネギー (第4代準男爵)
議席を失ったカーネギーは復讐を決め、1795年夏にフォーファーシャー選挙区での出馬を表明した。カーネギーは地主ジェントリ層から支持を受け、スコットはジェントリからの質疑に反論したが、最終的には政府が選挙戦に挑む価値がないと判断し、スコットを選挙戦から撤退させた。スコットはなおも補欠選挙で一度カーネギーを勝たせば総選挙で盛り返せるとの希望にかけたが、スコットの辞任後に行われた補欠選挙(1796年4月)ではカーネギーを支持したウィリアム・モール閣下が当選、同年6月の総選挙でカーネギーが議席を引き継いだ。
2度目の議員期では1度目と違い、無所属の立場を貫こうとしたが、『英国議会史(英語版)』によれば、実際にはサウセスク伯爵位の回復を目指すために少なくとも1804年まで与党を支持したという。1801年に第1次小ピット内閣が崩壊してアディントン内閣が成立すると、アディントン内閣が講和を成立させなければ延命の可能性がない(no chance)と述べた。ただし、以降も1804年に概ねアディントン内閣が崩壊するまでを支持した。2度目の議員期でも議会で演説した記録はなかった。
1805年5月25日にメリルボーンのグロスター・プレイス(Gloucester Place)にある自宅で急死、セント・マーティン・イン・ザ・フィールズに埋葬された。長男ジェームズが準男爵位を継承した。
1783年4月29日にアグネス・マレー・エリオット(Agnes Murray Elliot、1764年ごろ – 1860年6月9日、アンドルー・エリオット(英語版)の娘)と婚約、30日にエディンバラで正式に結婚した。2人は2男10女をもうけた。
クリスティーナ・メアリー(1784年5月25日 – 1860年8月27日) - 生涯未婚。双子の妹エリザベスがいる
エリザベス(1784年5月25日 – 1884年7月3日) - 生涯未婚
ジェーン(1785年10月6日 キナード – 1859年4月24日) - 生涯未婚
アン(1787年1月17日 – 1879年4月22日) - 1822年4月17日、海軍軍人ロバート・ウォーコップ(英語版)(1862年6月没)と結婚、1男ウィリアム・アンドルー(1844年に生涯未婚のまま没)をもうけた
メアリー・アン(1788年5月9日 エディンバラ – 1834年10月2日) - 生涯未婚
イリナ(Eleanor、1789年6月23日 – 1855年9月27日) - 1828年6月9日にジェームズ・エヴァンス(James Evans、1855年以降没)と婚約、後に正式に結婚したが、子供をもうけなかった
アグネス(1790年9月18日 キナード – 1875年3月8日) - 生涯未婚