En el siglo XIII el Castillo de la Peroja pasa a ser lugar de estancia del Adelantado Mayor de Galicia, hasta esas fechas estuvo en manos de los amos de las tierras, la familia Temes.