Aunque se atribuye a los cartagineses la construcción de murallas en el lugar, los restos que se conservan fueron levantados por los árabes en el siglo IX, siendo el castillo reedificado por los nazaríes en el siglo XIII.