En tiempos de Fernando II (1157-1188) se construyó un fortín del que se conservan los torreones ruinosos, conocidos en la villa como ""los castillos de la Altafría"".