I det 6. århundre ble det grunnlagt et keltisk kloster på øya. Fra 1136 til 1536 lå det så et benediktinerkloster der. Dagens kloster ble grunnlagt i 1906 av Aelred Carlyle for anglikanske munker som fulgte . Allerede i 1913 konverterte nesten hele kommuniteten til Den katolske kirke, og i 1928 flyttet de til sitt nåværende kloster, Prinknash Abbey nær Gloucester. Klosteret på Caldey ble da tatt over av cistercienserne av den strenge observans (OCSO), også kjent som trappistene. John Willem Gran, som var katolsk biskop av Oslo 1964–1983, var munk på Caldey 1949–1959.