Fue la familia Temes la que se asentó aquí y fueron ellos quienes ordenaron la construcción del castillo para hacerlo plaza fuerte des sus tierras que abarcaba una extensión llegando hasta Sarria, Chantada, Villamarín, etc., logrando que el castillo fuese capital del condado, lugar de administración y centro de defensa.