St. Olavsbrønnen som ligger ved kirken, var et av de viktigste valfartssteder på Østlandet i katolsk tid, den ble regnet som en «hellig kilde» og man trodde at vannet i brønnen hadde helbredende kraft. Løvøy var også stoppested for mange pilegrimer på vei til Nidaros.