Mandela ble holdt fengslet på Robben Island i de neste 18 årene av til sammen 27 sammenhengende år i fengsel. På øya måtte de politiske fangene utføre hardt arbeid i et kalkbrudd. Fangeforholdene var svært enkle. Fangene ble adskilt etter rase, svarte fanger fikk færre rasjoner og måtte gå i kortbukser, for å vise at de sto lavere enn inderne og fargede, som fikk lange bukser. Politiske fanger ble holdt adskilt fra ordinære kriminelle og fikk færre privilegier. Mandela har beskrevet at han som en D-gruppert fange (den laveste klassifikasjon) kun fikk tillatelse til ett brev og ett besøk for hver sjette måned. Brev, når de kom, ble ofte forsinket i lange perioder og i tillegg gjort bortimot uleselige av fangesensuren.