Allerede i 1580 ble det bragt en fange på øya - det kan ha vært den første, adelsmannen Anselme, dømt for å ha konspirert mot monarkiet. Fra 1634 gikk festningen over til å bli et fengsel. Fengselet var på sin tid blant de mest fryktede i Frankrike. Prominente fanger kunne mot betaling sitte internerte i bekvemme gemakker i festningens øvre etasje. De aller fleste fangene bodde imidlertid under motbydelige forhold i festningens kjellerhuler. Under religionskrigen ble hugenotter sendt til øya.