Los Reyes Católicos ordenaron su derribo dos veces en 1481 y 1486, pero no se llevó a cabo y la fortaleza pasó a manos de los Sarmiento, señores de Sobroso y Salvatierra, a la cabeza de una amplia jurisdicción ante el siglo XVIII.