V roce 1553 byl palác v majetku rodiny Albret, od které ji koupil František de Guise. Ten nechal po přikoupení okolních pozemků palác rozšířit. Z této přestavby se dochovaly pouze obloukové dveře a klenba na severní straně kaple a zdi bývalého sálu, ve kterém zasedala Katolická liga během náboženských válek, a kde bylo pravděpodobně rozhodnuto o masakru za Bartolomějské noci roku 1572.