Parece que en el mismo lugar ya hubo una fortaleza romana, continuada luego en época musulmana, de la que todavía subsiste un importante testimonio en la cerca exterior, que se mantuvo como primera línea de muralla con torres albarranas sobre el arroyo Caganchas.