Nel Medioevo, il sito del futuro palazzo faceva parte del maniero di Ebury (chiamato anche Eia). Il terreno paludoso era bagnato dal fiume Tyburn, che scorre ancora sotto il cortile e l' ala sud del palazzo. Dove il fiume era fordable (a Cow Ford), il villaggio di Eye Cross crebbe. La proprietà del sito cambiò di mano molte volte; i proprietari comprendevano Edward il confessore e la sua consorte regina Edith di Wessex negli ultimi tempi sassoni e, dopo la conquista normanna, Guglielmo il conquistatore. William diede il sito a Geoffrey de Mandeville, che lo lasciò in eredità ai monaci dell' Abbazia di Westminster.
Il sito del palazzo era un tempo di proprietà di quale regina consorte nel tardo periodo sassone?
Edith di Wessex