Avaldsnes var også en av Harald Hårfagres fem kongsgårder på Vestlandet, og ifølge sagaen skal han ha blitt gravlagt i dette området. Rundt kirken finnes gravhauger og bautasteiner, og stedet må ha vært viktig siden romersk jernalder. Like øst for kirken står en seks og en halv meter høy bautastein kalt Jomfru Marias synål. Den lener seg mot kirkemuren, og om den berører muren sier tradisjonen at dommedag er nær. Navnet skal antakelig stamme fra en forsvunnet runeinskrift: . Nest ligner på nesta, som betyr å sy, og folketradisjonen kan dermed ha gitt nevnet på steinen.