En el siglo XVII el edificio sufrió restauraciones, y a finales del XVIII se realizaron nuevas obras, costeadas por el cardenal Lorenzana y dirigidas por Ventura Rodríguez, quien respetó las características originales de la construcción del siglo XVI: una estructura organizada en torno a un patio adintelado con columnas de granito, dos salones alargados, situados en los lados opuestos del patio, y unas amplias escaleras de paso al piso superior.