Todas estas actuaciones no fueron ajenas a intereses especulativos que dieron lugar a la desaparición de importantes edificaciones, algunas de las cuales ya habían sido derribadas con anterioridad a los propios ensanches, cual es el caso de los restos del Castillo del Fiel, cuyo derribo ya se efectuó en 1840, construyéndose sobre su solar el actual edificio municipal y la escuela.