Gjentatte ganger ble messene forsøkt stanset. Biskop Jens Skielderup omtalte i 1572 misbruk av krusifikset i Røldal. I 1622 av Oslos biskop Nils Glostrup (som mente det foregikk et stort avguderi i Røldalen), i 1644 av Bergens biskop Ludvig Munthe (som Ludvig Holberg ble oppkalt etter). I 1744 krevde Kristiansands biskop Jakob Kærup at krusifikset skulle brennes og i 1734 hadde Kærup forsøkt å stanse valfarten. Denne ville også ha krusifikset brent. Han regnet det som et ikon, og tilbedelse av et ikon var avgudsdyrkelse. Likevel ble det holdt messe hver St. Hans til 1835, da praksisen ble avslørt av prost Ole Nicolai Løberg. Han ankom en dag for tidlig til sin visitas 7. juli. I eldre tid ble St. Hans feiret 6. juli, og i 23-tiden hørte prosten til sin forbauselse kirkeklokkene ringe. Det lyste også fra kirkevinduene, og da han kikket inn, så han at det ble holdt messe. Dette fikk Løberg satt en stopper for, men så sent som i 1850 skal folk ha valfartet til kirken for å søke helbredelse. I dag er krusifikset i Røldal den eneste overlevende kultgjenstanden i Norges gamle pilegrimskirker.