Jego kadencja jako lorda namiestnika dobiegła końca w 1813 r. Rok później, z powodów ekonomicznych, zamknął swoją rodową posiadłość w Goodwood i, wraz z rodziną, przeprowadził się do Brukseli. Tam, 15 czerwca 1815 r., księżna Richmond wydała słynny bal, na którym książę Wellington dowiedział się o wkroczeniu Napoleona Bonapartego do Holandii. Richmond był obecny na polu bitwy pod Waterloo, ale tylko w charakterze cywilnego obserwatora. Rodzina książęca pozostawała w Brukseli do 1818 r. 8 maja tego roku książę dowiedział się, że został mianowany gubernatorem generalnym Brytyjskiej Ameryki Północnej. Mimo iż nominacja była dlań zaskoczeniem, książę przyjął powierzoną mu funkcję.