Al parecer, pudo disponer de acceso junto a la Iglesia y a mediados del siglo XIX, Madoz afirma que aún se conservaban restos del castillo, que pertenecía al señorío de Frías al decir que "se ven vestigios de edificios antiguos, entre ellos los de un fuerte".