Desde finales del siglo XVII, la isla Robben fue utilizada para aislar a ciertos grupos de personas, en la mayoría de los casos prisioneros; en un principio sus primeros habitantes de forma permanente fueron líderes nativos de las colonias neerlandesas; sobre todo de Indonesia. Tras una fallida rebelión de Grahamstown en 1819, durante la quinta Guerra Xhosa, el gobierno colonial británico sentenció al líder africano Makanda Nxele a cumplir cadena perpetua en esta isla, muriendo en las orillas de Table Bay al intentar escapar.