All gneis som er brukt som bygningsstein er påvist i nærområdet. Olivin derimot, som bl.a. er brukt i tårnet, er ifølge geokjemiske undersøkelser hentet fra Deknepollen, noen timers seilas sør for Selja. Etter at klosteret ble nedlagt, ble det plyndret for alt av verdigjenstander, også stein. Den danske astronomen Tycho Brahe (1546 -1601) fikk Nordfjord i len av danskekongen Frederik 2. Foruten å ta inn skatt fra lenet, hentet han også ut stein fra klosteret. Steinene brukte han til å bygge observatoriet Stjerneborg og slottet Uranienborg på øya Hven i Øresund. I 1643 ble det sendt et skip fra Bergen til København med 518 "tilhugne klæberstene" fra Selje og Lyse kloster.