En 1773 se casó con Ann Courtenay, sobrina de John Stuart tercer conde de Bute.