Y a finales del siglo XII los obispos de Orense ordenaron edificar la fortaleza de Castelo Ramiro, que está situada sobre un monte desde el que se domina la ciudad y desde donde podían controlar la entrada y salida de personas y mercancías en Orense, aunque dicha fortaleza fue derribada por orden de los Reyes Católicos en 1486.