Durante los siglos XVII y XVIII el monumento fue perdiendo poco a poco su importancia llegándose a construir viviendas en su interior utilizando elementos de los palacios originales.