Das Marienheiligtum ist seit 1175 belegt. Ein antiker Ziegelfußboden lässt jedoch den Schluss zu, dass die Pilgerstätte schon vor dem 6. Jahrhundert entstand, womit sie eine der ältesten Marienpilgerstätten der Welt wäre. Im 13. und 14. Jahrhundert erlebte Castelmonte einen Aufschwung, u. a. infolge von Ablassprivilegien der Päpste Innozenz IV. und Urban VI. 1419 kam es zu Beschädigungen durch Ungarn. 1478 wurde die Anlage gegen die Türkenheere befestigt. 1479 wurde die heute vorhandene Marienstatue aufgestellt, deren Herstellung in das frühe 15. Jahrhundert datiert wird. 1511 und 1513 kam es zu Erdbebenschäden. Das heutige Kirchengebäude entstand ab dem 16. Jahrhundert, erfuhr jedoch wiederholt Umgestaltungen. 1797 wurde die Kirche im Rahmen von Napoleons Italienfeldzug durch Franzosen geplündert. 1944 entstanden Bombenschäden. Nach dem Erdbeben im Friaul 1976 initiierten die Kapuziner eine Wallfahrt nach Castelmonte, die seither jedes Jahr am 8. September wiederholt wird.