En el siglo XII existía el castillo del Tormón que quedó abandonado durante el reinado de Alfonso VII, edificándose en su lugar una iglesia donde la tradición popular indica como lugar de aparición de la Virgen del Castellar.