Durante los siglos siguientes cambió de manos en varias ocasiones, hasta que en 1445 los habitantes de Bielsa compran a su señor, Raimundo Montaner, la villa y el castillo con todos sus términos y derechos, para cedérselos al rey de Aragón, Alfonso V.