Et kloster ble opprettet i 1155 på L'Islet, en liten klippeøy og tidvannsøy (forbundet med fastlandet ved fjære) nærliggende til Hermitage. Ved reformasjonen ble det stengt og setet for klosteret ble omgjort til en festning som erstattet Mont Orgueil i havnen Gorey som øyas hovedfestning. Den nye festningen Elizabeth Castle ble oppkalt etter dronning Elisabeth av guvernøren på jersey i 1600-1603, Walter Raleigh.