Noen sikker datering for når klosteret ble bygd er ikke mulig å legge frem. Det fins i det hele tatt svært lite skriftlig materiale knyttet til klosteret. I gammel tid var et kloster ofte bygd av makthaverne. Det er derfor ting som tyder på at det var Olav Kyrre (konge 1067 – 1093) eller hans sønn Magnus Berrføtt. (1093 – 1103) som startet byggingen av klosteret. Det kan også ha vært Magnus-sønnene Sigurd Jorsalfare og Øystein. All den tid at bispesetet alt kom om lag 1068, er det naturlig å tenke seg at også biskopen var en av pådriverne til at klosteret ble bygd på Selja. De fleste antagelser går derfor ut på at klosteret ble påbegynt rundt år 1100. Dermed er Selje kloster et av de første klostrene her til lands om ikke det aller første. Mye tyder på at det var folk fra de britiske øyer som bygde klosteret og at det også var benediktinermunker (svartmunker) fra England som inntok klosteret. Det faktum at klosteret og kirken i tilknytning til klosteret ble viet til den relativt ukjente engelske helgenen Albanus støtter dette synspunkt.