Los árabes la consideraban un importantísimo núcleo cristiano, por lo que fue objetivo militar de ambos bandos durante 200 años: desde que se inició la construcción de su castillo por los árabes en el siglo IX (tiempo en que la población se llamaba Castromoro), hasta que cayó finalmente en manos del reino de Castilla.