Los orígenes del castillo se remontan posiblemente a la época de la expansión cristiana hacia el sur de la península ibérica, aunque la primera referencia sobre el castillo no se encuentra hasta el siglo X, cuando el rey Bermudo II se refugia en la fortaleza durante la batalla de Portela Arenaria el año 983, entre sus tropas y las de Ramiro II de León.