Øya er også kjent som tilholdssted for pirater. Både Francis Drake, John Hawkins, Thomas Baskerville og Henry Morgan hadde tilhold på øya. Det er teorier om at både av Robert Louis Stevenson og av James Matthew Barrie er skrevet med utgangspunkt i denne øya.