El castillo fue abandonado una vez perdido su valor estratégico, y en 1240 se hace mención por primera vez del santuario, aunque en 1219 ya se sabe de la existencia de una capilla dedicada a la Mare de Déu de Bellmunt (Beatae Mariae de Pulchro Monte).