C’est dans ce palais qu’est logé le roi de France Jean II le Bon, fait prisonnier lors de la bataille de Poitiers en 1356. En 1381, le palais est incendié et détruit.