El duque es mayormente recordado por su matrimonio secreto, realizado en Pall Mall, Londres, el 6 de septiembre de 1766, con María Walpole, condesa viuda de Waldegrave -nieta ilegítima del Primer Ministro Sir Robert Walpole-.