La importancia del palacio aumentó durante los reinados de los primeros monarcas de la Casa de Hanover, pero fue desplazado por el Palacio de Buckingham a finales del siglo y principios del .