La construcción del palacio fue ordenada por Enrique VIII en la parcela de un antiguo hospital de leprosos dedicado a Santiago el Menor.