Pero, tras la renuncia de Grey en 1834, sus inmediatos sucesores —Melbourne, Peel, Russell, Derby, Aberdeen y Palmerstone— no vivieron allí, tal y como hicieron Gladstone y Disraeli al menos en su primera etapa al frente del gobierno.