Sin embargo, la casa que constituye el núcleo original del palacio fue construida por el duque de Buckingham en 1703.