Øya ble befolket for tusener av år siden inntil den ble skilt fra fastlandet med et sund. Siden slutten av 1700-tallet har øya blitt benyttet til å isolere mennesker fra omverdenen, først og fremst som fengsel. De første fangene var politiske ledere fra nederlandske kolonier i Afrika og Asia. Mellom 1836 og 1931 ble øya benyttet som tuberkulosesanatorium, og senere fengsel for politiske fanger fra Sør-Afrika. De mest kjente var Nelson Mandela, og andre ANC-ledere, Walter Sisulu, Govan Mbeki og Robert Sobukwe.