La tradición data el castillo como fortificación romana, que más tarde sería reconstruida por los árabes, motivo por el que algunos torreones son cilíndricos y otros cuadrados.