Las casas anteriores del rey, Carlton House y el Royal Pavilion de Brighton, eran demasiado pequeñas para los grandes eventos de la corte, incluso después de sus costosas ampliaciones.