Die Vorfahren von Scott stammen, wie der Name Scott zeigt, aus Schottland. Scotts Großvater, James Scott (1720–1760), wurde in den schottischen Lowlands im Grenzgebiet zu England in der Nähe von Abbotsford in der Grafschaft Roxburghshire geboren. Er war Angehöriger des schottischen Clan der "Scott von Buccleuch", der seine Wurzeln bis 1120 auf einen "Uchtredus filius Scoti" zurückführen kann. James Scott war Jakobiter, also Anhänger des 1688 in der Glorious Revolution gestürzten katholischen Königs &lt;a href="Jakob%20II.%20%28England%29"&gt;James (Jakob) II./VII.&lt;/a&gt; von England und Irland sowie Schottland aus dem Haus Stuart. Während des Zweiten Jakobitenaufstandes von 1745/46 kämpfte James Scott als Reiter in der kleinen Schwadron Kavallerie der Lowland-Clans dann auch auf der Seite der Jakobiten unter Charles Edward Stuart. Dieser erlitt jedoch in der Schlacht bei Culloden 1746 eine vernichtende Niederlage gegen die britischen Truppen.