Originariamente fue construido para el cardenal Thomas Wolsey, un favorito del rey Enrique VIII, alrededor de 1514; en 1529, cuando Wolsey perdió el favor del rey, el palacio pasó al rey, que lo amplió.