Før festningen ble bygd var øya ubebodd, men ble tidvis benyttet av fiskere. Festningen ble påbegynt i 1516 av kong Frans I og stod ferdig i 1529. Samme år som byggingen startet ble et neshorn sluppet i land på øya. Neshornet var en gave til pave Leo X fra Portugals kong Manuel I, som i sin tur hadde fått den fra India. Albrecht Dürer utarbeidet et tresnitt av neshornet basert på vitnemål.