El castillo fue conquistado por el muladí Omar ibn Hafsún varias veces, siendo reconquistado por Abderramán III en el año 907.