Ende des 14. Jahrhunderts kam die Anlage durch Heirat an Guy VI. de La Trémoïlle, der die Gebäude umfassend verändern ließ. Er beauftragte Raymond du Temple, den Architekten des Louvres und des Schlosses Vincennes, damit, Pläne für einen Donjon anzufertigen, die in der Zeit von 1395 bis 1406 verwirklicht wurden. Nachdem Guy VI. de La Trémoïlle 1398 auf seiner Rückkehr vom Siebten Kreuzzug verstorben war, führte seine Witwe Marie de Sully das Vorhaben – möglicherweise unter Einbezug eines alten Baus– weiter fort. Die Arbeiten wurden dabei durch den Hundertjährigen Krieg unterbrochen und verzögert.