No tuvo hijos de su matrimonio con la princesa alemana Luisa de Stolberg-Gedern, comúnmente llamada condesa de Albany y, a su muerte en 1788, heredó sus derechos dinásticos su hermano menor, el Cardenal de York Enrique IX.