En 1788 el rey enfermó durante una cena en el castillo, se le diagnosticó locura y fue retirado de su puesto durante un tiempo en que se trasladó a Kew, donde se recuperó temporalmente.