Robbeneiland is moontlik die belangrikste geskiedkundige erfenis-terrein van Suid-Afrika en die geskrewe geskiedenis strek oor tenminste 500 jaar. 'n Besoeker vandag word met 'n moderne veerboot vanaf die Tafelbaai-hawe na Robbeneiland vervoer waar die kalksteen-en klipgroewe deur Van Riebeeck begin, onder die besienswaardighede is. Die eiland is vanaf 1997 'n nasionale museum en van die figure wat vertoon word is twee uit die Van Riebeeck era naamlik Autshumato en Krotoa. Die huidige naam dui op die robbe wat voorheen daar aangetref was. Die eiland het eers in 1601 'n naam gekry toe Joris van Spilbergen dit na sy moeder, Isla de Cornelia, vernoem het. Die Engelse reisiger, Keeling, het dit in 1609 Penguin Island genoem met verwysing na die voorkoms van reuse getalle pikkewyne. Die naam Robbeneiland is in 1627 deur David de Vries gebruik en daarna deur die Hollanders terwyl die Engelse steeds na Penguin Island verwys het.
Die geologiese aspekte is van belang want dit het gelei tot die benutting van boumateriale aan die Kaap, soos byvoorbeeld in die geval van die Kasteel soos dit tans daaruit sien, en ook die benutting deur diere en die aanplant van groentes. Die eiland is die piek van 'n oorstroomde berg wat met 'n onderwaterbrug aan Blouberg verbind is. Die laer strata bestaan uit Malmesbury skalie wat sigbaar is as die halssnoer van rotse om die eiland. Bo hierdie laag is 'n dik kalksteen neerslag wat deur windaangedrewe sand en skulpstukkies bedek is. In 'n dwarssnit vertoon die gefossileerde duinlaag van die laat-Pleistoseen Epog as 'n dun laag bo-op die Malmesbury skalie wat in die Neoproterosoïese tydperk (~980-610 m.j.g.) gevorm was. Die Malmesbury skalie is in lae neergelê en kan maklik met 'n beitel gesplits word om boustene te vorm. Die gekalsifiseerde sandduine (eoliese) is die ligging van die kalksteengroewe waar Van Riebeeck se arbeiders en in die 20ste eeu die ANC politieke gevangenes hande-arbeid moes doen.
In hierdie laag is klipwerktuie gevind wat dui op die aanwesigheid van mense op Robbeneiland van ~100 000 jaar gelede. Toe hierdie klipwerktuie daar gelaat was, was die duine nog nie gekonsolideer nie. Later het sand bygekom en die werktuie bedek. Die werktuie dateer uit ongeveer die Middel Steentydperk ~250 000 tot 25 000 jaar gelede. Duine op die vasteland in hierdie omgewing dui 'n val in seevlak aan in die oorgangsperiode tussen die globale warm periode en die ysperiode. Om 'n landbrug te kon vorm moes die seevlak ~20 meter onder die huidige seevlak gewees het. Dit dui op 'n ouderdom van die werktuie van ~100 000 jaar. Hierdie mense was jagterversamelaars wat deur veeherder-versamelaars verplaas is. Laasgenoemde was die 'Hottentotte' soos aangetref deur Dias en Da Gama teen die einde van die 15de eeu3.
Raven-Hart het uittreksels van 153 verslae gepubliseer van besoekers aan die Kaap tussen 1488 en 16524. Die werklike getal skepe wat in dié periode in Tafelbaai aangedoen het was aansienlik meer maar nie almal word genoem nie. Eerstens wou die vroeë seevaarders nie hulle vaar-en navigasie-besonderhede publiseer nie en verder het die rapporteur nie noodwendig al die ander skepe in die vloot vermeld nie. Raven-Hart het self opgemerk dat daar by aankoms byna altyd 'n ander skip of skepe aan die see gelê het. Hy het ook skepe aangeteken waarvan die name in ander verslae gemeld word of in briewe gevind was. Die volgende verwysings word aangehaal met die klem op Robbeneiland en is maar 'n breukdeel van die beskikbare inligting van die Portugese, Engelse, Hollandse en Deense besoekers aan die Kaap.
Die Portugese seevaarder, Bartolomeu Dias word aanvaar as die 1ste Europeër wat om die suidpunt van Afrika gevaar het in 1488. Hy het nie by die Kaap aangedoen nie en sy 1ste landing was op die suidooskus by die huidige Mosselbaai. Dias het ook die naam Kaap van Goeie Hoop gegee aan die kaap wat hy verbygeseil het. Die volgende erkende vaarder was Vasco da Gama wat ook nie by die Kaap aangedoen het nie5. Nadat hy by die Kaap verbygeseil het, het hy op 26 November 1497 by Mosselbaai geland. Peter Kolbe het geskryf dat Portugese Robbeneiland in 1498 besoek het om die 'mensvreters' op die vasteland te vermy maar dit kon nie bevestig word nie6. Penn7 haal De Villiers8 aan wat beskryf dat die matrose (van Da Gama se vloot?) in 'n groot grot vertoef het en vars water van fonteine verkry het. Dit word egter deur Mentzel bevraagteken wat die eiland as kaal en onbewoond en met 'n totale tekort aan vars water beskryf9. Daar is ook geen melding gemaak in die reisverslag van Da Gama dat hulle in Tafelbaai aangedoen het nie. Wat wel in Da Gama se reisverslag genoem word is dat hulle op 27 Oktober 1497, 5 dae ver van die kus, walvisse en 'sea-wolves' (robbe) teëgekom het en ook dat hulle baie ('n beraamde 3000) robbe op 'n eilandjie in Mosselbaai op 25 November opgemerk het10. Op dié eiland was daar ook voëls wat 'fotilicaos'(sotilycaos) genoem word wat balk soos donkies - dit wil sê die 'jackass penguin' of briloogpikkewyn.
David Pietersz de Vries het op 17 Maart 1627 saam met die vloot vanaf Texel gevaar. Hy skryf in sy Korte Historiael dat hulle op 16 Julie in Tafelbaai geanker het tente vir die siekes opgeslaan en varswater gelaai het28. Hulle het met 'n sloep op 1 Augustus 1627 vir die 3de maal na Robbeneiland geseil en die boot het die volgende dag met 1100 pikkewyne en (slegs) 'n paar robbe teruggekeer omdat hulle gedink het die pikkewyne was meer smaaklik. Hulle was gedwing om Robbeneiland te besoek omdat daar geen beeste of skape vir ruilhandel beskikbaar was nie. Raven-Hart verwys na nog sowat 89 verslae of verwysings na skepe vir die periode 1627-1649 en enkeles word hier onder genoem.
Edward Dodsworth laat 'n boot [longboat] op 20 Junie vir Crosse sodat hulle na die eilande toe kan vlug totdat sy genote herstel het van hulle wonde opgedoen in 'n skermutseling met die Khoe42. Martin Pring vertel dat Cory (Coree) op 3 Maart 1616 vir hulle van ene Kaptein Crosse kom vertel het wat met 8 mans en 'n seun op Robbeneiland gebly het en aan wie Dodsworth 'n boot gegee het43. Pring stuur toe 'n sloep (pinnace) wat 3 mans terugbring en 3 agterlaat. Hulle rapporteer dat Kaptein Crosse met twee ander die vorige Saterdag 'n vlot van die stukke van die langboot gemaak het. Hulle was halfpad tussen die Eiland en Pring se boot toe 2 walvisse aan weerskante verskyn, so naby dat Crosse 1 met 'n spar kon slaan. Die walvisse sak weg en Crosse is so verskrik en verkluim deur die koue water, dat hy na die eiland terugkeer. Maar nadat hy 'n ander hemp aangetrek het besluit hy om weer te probeer. Hy was al 'n hele end weg van die eiland toe hy verdwyn en nie weer gesien is nie. Penn meld dat Crosse dit dalk tot by die kus gemaak het en volgens Coree deur 'n Portugese skip weggeneem was. In Junie 1616 hoor Edward Perry dat 2 van die manne deur 'n Engelse skip opgepik is. Die 3 mans wat deur Pring afgehaal was, is kort na hulle aankoms in Engeland tereggestel weens die diefstal van 'n beursie. Crosse en sy makkers was dus die 1ste prisoniers op Robbeneiland. Dit was egter ook die einde van die Engelse poging om prisoniers as ontwikkelaars van die Kaap te gebruik alhoewel hulle simboliese besit geneem het van alle dele van Afrika nog nie bewoon deur 'n Christen prins nie!
Die Khoen naam van hierdie figuur was Autshumato of Autshomao. Die Engelse het hom Harry of Thomas genoem terwyl Jan van Riebeeck na hom as Herrij verwys het. Herrij was een van die weinige Khoe aan die Kaap wat 'n bietjie Engels kon praat en dus tot 'n mate met anderstalige Europeërs kon kommunikeer. Hy was 20 jaar voor Van Riebeeck aan die Kaap. Herrij was in Elphick se woorde 'n man van baie ambagte, 'n bedrewe taalkundige, 'n kordate entrepeneur, en 'n oorlamse diplomaat en manipuleerder. Alhoewel Herrij die bes beskrewe Khoe van die 17de eeu was, is dit nie duidelik wat hy met sy maneuvers wou bereik tensy dit selfbevordering was nie44.Hy was die 1ste veewagter op Robbeneiland en waarskynlik ook die 1ste mens (na Crosse) om per boot van die eiland te ontsnap. Ook pertinent is die feit dat Herrij met die Strandlopers, wat nie vee besit het nie, geassosieer was en tog volgens Van Riebeeck se opinie 'n kundige veeboer was. Elphick verwys na die feit dat alhoewel Herrij verbintenisse en assosiasies gehad het met die verskillende groepe wat die Skiereilandse Khoe opgemaak het, dit van tyd tot tyd gewissel het45. In die skeepsjoernaal van Peter Mundy van 1634 word beskryf dat hulle met die invaart na Tafelbaai,'n vuur gesien het op Penguin Island (Robbeneiland) maar hulle kon as gevolg van die ongunstige weer nie verder ondersoek instel nie46. Die wind en weer was gunstig toe hulle reg was om uit te vaar en 'n sloep word vir pos na die eiland gestuur. Die Skipmeester en Mundy gaan saam. Hier vind hulle ene Hadda [sic], 'n Khoe wat deur Kaptein Pynne na Bantam geneem en weer teruggebring was47. Mundy skryf in 1634 dat Hadah op Robbeneiland saam met sy familie en bondgenote, sowat 60 in getal, gewoon het. Hulle was ietwat beter geklee as die Khoe van die vasteland en Hadah was in 'n Engelse gewaad van kop tot tone! Hadah wou gehad het dat Mundy na hulle 7 huisies kom kyk asook die 'Cowes, Piggs, Henns and Chickins' wat Pynne (?) aan hulle gegee het en wat vermenigvuldig het. Ongelukkig het Mundy nie tyd gehad nie. Hadah was die hoof en goewerneur van almal op die eiland waar niemand hom kon molesteer nie aangesien die mense van die hoofland nie bote gehad het nie. Die groepie het van robbe en pikkewyne geleef waarvan daar 'n oorvloed was.