Sus usos como prisión (como en el caso de las Torres de Cuart) hicieron que sobrevivieran al desmantelamiento de la muralla, ordenado por Cirilo Amorós, gobernador civil de Valencia, pero también maltrataron el edificio, especialmente en su estructura interior.