Después de sufrir recaídas en 1801 y 1804, su situación se hizo insostenible de 1810 en adelante y fue recluido en los Apartamentos de Estado del castillo de Windsor, donde los trabajos de construcción cesaron al año siguiente.