Palasset ble deretter fullstendig ombygd på murene av grevene av Poitiers og hertugene av Aquitaine som sto på høyden av sin makt. I 1104 bygde hertug Vilhelm IX tårn på bysiden. Det er kjent som etter hans elskerinne Dangereuse de l'Isle Bouchard, hustruen til vicomte Aimery I av Châtellerault, som hadde hertugen hadde røvet, kanskje ikke uvillig, og til hans egen hustrus bestyrtelse. Han plasserte henne i tårnet, og hun fikk tilnavnet . Dangereuse ble for øvrig stammor til dronning Eleanora av Aquitaine. Det retangulære tårnet ble forsterket med fire mindre kvadratiske tårn som ble reist fra hvert hjørne, men det ble hardt skadd da den sørlige delen av palasset ble satt i brann av Henry av Grosmont, 1. hertug av Lancaster, i 1346.