Finalizada la Reconquista y perdida ya la importancia militar del Castillo, este, como muchos otros, paso a convertirse en improvisada prisión de personajes ilustres, entre ellos Martin Cortes marques del valle ;o Juan Alfonso de Aragon conde de Ribagorza condenado a muerte por garrote su delito: uxoricida.