Desde finales del siglo XVII, la isla Robben fue utilizada para aislar a ciertos grupos de personas, en la mayoría de los casos prisioneros; en un principio sus primeros habitantes de forma permanente fueron líderes nativos de las colonias neerlandesas; sobre todo de Indonesia.