ジェームズ・ステュアート＝ウォートリー (初代ウォーンクリフ男爵)
1799年5月30日にエリザベス・クライトン(英語版)(Elizabeth Caroline Mary Crichton、1779年3月5日 - 1856年4月23日、初代アーン伯爵の娘)と結婚した。夫妻は三男一女を儲けている。
(長男)ジョン(1801年4月23日 - 1855年10月22日)- 第2代ウォーンクリフ男爵
(次男)チャールズ・ジェームズ(英語版)(1802年6月3日 - 1844年5月22日)
(三男)ジェームズ・アーチボルド(英語版)(1805–1881)- 庶民院議員、法務次官(英語版)を務めた。
(長女)キャロライン・ジェーン(1876年6月12日没)
サー・ロバート・ピールが1834年に政権を発足させるとウォーンクリフも王璽尚書として入閣した。翌年の第一次ピール内閣総辞職に伴って尚書職を退くと、後任のメルバーン政権を批判し続けた。ピールが1841年に政権を奪還すると彼も枢密院議長に任じられている。しかし彼はこうしたポストに不満を抱いており、より重要な閣僚職への就任を望んでいたという。議長在職中にはコーンウォール公領改革を目指す王配アルバート公に協力してコーンウォール州に土地を持つ貴族らとの利害調整を行ったとされる。その成果は1844年コーンウォール公領法に結実して公領改革につながった。また、穀物法廃止論争を巡っては強硬な反対閣僚の一人であったが、ピール首相はウォーンクリフが最終的には納得して閣内に残ってくれると考えていたという。しかし、その論争の解決を見ないまま1845年に痛風と脳卒中のために69歳で急逝した。爵位は長男のジョンが継承した。