En época barroca, los duques de Borja darán un nuevo aire al edificio con la remodelación del salón de Águilas y la construcción de la Galería Dorada, realizada para conmemorar la canonización de Francisco de Borja.