Presumiblemente las primeras murallas que rodean la fortaleza -a base de piedra menuda- se realizaron en defensa de las invasiones bárbaras, ampliándose y reformándose sucesivamente en el medievo.