De éste los heredó don Pedro, quien lo retuvo por largos años hasta que su tío Pedro IV de Aragón lo consiguió para su hijo Juan I en 1393, pero pronto volvió en poder de don Jaime, hijo primogénito de don Pedro Conde de Urgel; según la documentación conocida sobre la fortaleza este sería el momento de la remodelación del castillo a la manera gótica que es la preponderante en el actual.