Klosteret skal ha blitt opprettet i første halvdel eller mot midten av 1150-tallet av lendmannen Dag Eilivsson, etter at han hadde vært med Sigurd Jorsalfare til Jerusalem og Konstantinopel i tiden 1108–1111 og kommet helskinnet hjem. På veien ut overvintret følget på 6000 mann i England, og det antas at de her møtte engelsk klosterliv og ble kjent med det. Klosteret ble anlagt på Dag Eilivssons eiendom Gimsøy, som tidligere hadde vært benyttet som beitemark for geiter, derav trolig navnet. Klosteret var bygget i stein, og det antas at dette hovedsakelig ble utført av engelske fagarbeidere og de første nonnene var antakelig også fra England.