Aunque siguió siendo un feudo del obispado, el castillo siguió en manos de los descendientes de Llop hasta que en 1371 pasó a ser patrimonio real.