Tortuga ble opprinnelig bosatt av noen få spanske kolonister. I 1625 ankom franske og engelske nybyggere øya etter egentlig å ha planlagt bosetning på en annen øy, Hispaniola. De franske og engelske nybyggerne ble i 1629 av spanjolene under Don Fadrique de Toledos kommando. Spanjolene lykkes, befestet øya, og utviste franskmennene og engelskmennene. Da mesteparten av den spanske hæren dro til Hispaniola for å jage bort de franske kolonistene der, returnerte franskmennene for å ta fortet. I 1630, bygde franskmennene fortet Fort de Rocher. Fra 1630 ble Tortuga delt i franske og engelske kolonier som tillot flere pirater å bruke øya som hovedbase for deres virksomhet. I 1633 kom de første slavene fra Afrika for å arbeide ved plantasjene. Den nye bruken av slaver varte ikke lenge, og slavehandel ble avsluttet i 1636. Slavene var sagt å være ute av kontroll på øya, og samtidig hadde det vært uenighet og konflikter mellom de franske og engelske koloniene. I tillegg returnerte spanjolene og erobret raskt fiendenes landområder, før de dro igjen. De anså øya som for liten til å være særlig viktig. Dette ga franske og engelske pirater muligheten til å komme tilbake. I 1638, returnerte spanjolene nok en gang for å ta tilbake øya og fjerne alle franskmenn og nyankomne nederlendere. De okkuperte øya, men ble snart jaget bort av fiendene.