Cercano al pueblo, sobre una eminencia del terreno que preside el cauce hondo del Sorbe, en el lugar que se le conoce por "El Castillar", quedan los maltrechos restos de un castillo, que en Cantalojas se atribuye a los moros, y que sin duda fue, en principio, castro ibero y, posteriormente, aprovechado para colocar una torre vigía y un pequeño reducto militar en la Edad Media, vigilando el paso frecuente de gentes por esa zona de comunicación entre ambas mesetas.