Avanzada la Edad Media se construiría sobre él un castillo de mampostería encofrada, que incluiría una gran torre-puerta (en época de María de Molina); llegaría a ser propiedad de los Caballeros Templarios, que mantuvieron una de sus bailías en San Pedro de Latarce y su vecino Castromembibre.