La destrucción final del castillo queda recogida en una crónica medieval traducida por Claudio Sánchez Albornoz en la que se afirma que fue arrasado durante las invasiones almorávides.