Adam av Bremen forteller rundt år 1070 at den fremste pilegrimsvegen nordover til Nidarosdomen var skipsleden. Olavskirken på Avaldsnes må ha vært et viktig stoppested for pilegrimer som skulle til St. Olavs gravsted i Nidaros. Et eget sålehus ble bygget for å huse pilegrimer og andre reisende. Men pilegrimene kom også til Avaldsnes landevegen, noe navn som (det første stedet man så kirken) og vitner om. På Torvastad et par kilometer nordvest for Olavskirken finnes en egen Olavskilde der pilegrimer satte ned kors og bad om helbredelse. Flere sagn om sankt Olav er knyttet til Avaldsnesområdet.