Se dice que el rey Olaf el Santo, cuando regresaba procedente de Inglaterra para reconquistar Noruega, desembarcó en Selja para orar en la capilla construida en la cueva de Sunniva.