No se puede datar con exactitud la construcción del castillo, se cree que fue en el año 793 durante el reinado de Alfonso II, lo que sabemos por escritos de la época es que una de las razones que dio lugar a la construcción del castillo, fueron las continuas incursiones de los musulmanes en Galicia; esto provocó que se poblara de fortalezas y la familia Temes no fue una excepción.