Construido por el rey Enrique VIII en la parcela de un hospital de leprosos dedicado a Santiago el Menor, el palacio tuvo una importancia secundaria respecto al Palacio de Whitehall para la mayor parte de los monarcas de las casas de Tudor y Estuardo.