Etableringen av bispesete på Selja og senere byggingen av et benediktinerkloster blir sett i sammenheng med legendene om seljemennene og sankt Sunniva. De fins gjengitt i tre versjoner fra middelalderen. Den mest omfattende legenden er i ”Acta Sanctorum in Selio”. Den er skrevet på latin om lag år 1170. Den forteller at Sunniva var en kongsdatter fra Irland. En hedensk, brutal beiler ville true henne til ekteskap, men i stedet for å underkaste seg denne mannen ga hun seg frivillig hen til den ukjente skjebne ved å forlate Irland med sine folk i tre skip uten seil, ror eller årer. Etter en lang sjøreise kom reisefølge til en del av Norge som kalles Fjordane fylke. Da sjøen hadde lagt seg, landet den Sunniva og størsteparten av hennes følge på en øy som heter Selja; der ble de boende. Av frykt for hedningene slo de seg til i grotter og jordhuler. Resten av følget landet på en øy som heter Kinn; der bodde de på samme måte og skaffet seg mat til livets opphold ved å fiske.