Antes de la construcción del edificio, en su lugar estaba el desaparecido Palacio de Placentia, destruido durante la Revolución inglesa, donde nacieron importantes monarcas ingleses como Enrique VIII y sus hijas María I e Isabel I.