El declive comenzaría en 1569 durante las guerras de religión cuando tras ser saqueada debe venderse parte de su patrimonio para costear las reparaciones.