I 1384-1386 fikk Jean de Berry, som var apanasjegreve av Poitiers, ombygd deler av palasset som hadde blitt ødelagt av brann. Tårnet og festningsvoll ble ombygd mens de private leilighetene ble restaurert i gotisk flamboyant-stil av hans hoffarkitekt og skulptør Guy de Dammartin. Dette arbeidet skjedde i årene 1388 og 1416 i løpet av et opphold under hundreårskrigen.