Fortificada «desde antiguo» por su situación geográfica, las defensas fueron mandadas derruir por su participación en la revuelta de los Comuneros, aunque han sido identificados los restos de su alcazaba árabe en el entorno de la Iglesia de Santa María de la Asunción y la traza de diversos tramos de muralla en otros puntos del recinto.