En 1120 el castillo pasó a manos de Ramón Berenguer III quien lo entregó a su vez a Ermengol VI de Urgel.