Стюарт походив від іншого сера Джеймса Стюарта, лицаря, Единбурзького купця та завзятого пресвітеріанця, який підтримував Карла II у Британських громадянських війнах 1642—1660 років і помер у 1681 році, заробивши достатньо грошей на придбання поміщицьких маєтків для своїх синів; троє з цих синів були досить відомими, щоб їхні сім'ї отримали звання Баронета після Славної революції 1688 року. Це були: сер Томас Стюарт з Колтнесса, перший син; Сер Джеймс Стюарт з Goodtrees, Лорд Адвокат, четвертий син; Сер Роберт Стюарт з Алландале, молодший із семи синів. Адвокат лорда, сер Джеймс Стюарт з Goodtrees, був його дідом; його батько, також сер Джеймс Стюарт, був старшим сином лорда-адвоката і виріс стати генеральним адвокатом Шотландії .