Zwischen 1795 und 1806 eroberte das Vereinigte Königreich die Kapkolonie und schaffte 1834 die Sklaverei ab. Den Xhosa wurde Robben Island als "Esiquithini" bekannt, was in etwa „Auf der Insel“ bedeutet. Der Xhosa-Befehlshaber Makana (auch "Makanda Nxele") wurde von den Briten hierhin verbannt, nachdem er 1819 im Zuge der Grenzkriege einen Aufstand gegen die britische Kolonialherrschaft angeführt hatte. Er versuchte, von der Insel zu fliehen, ertrank jedoch, bevor er das Festland erreichen konnte. Auch die Xhosa-Anführer Sandile und Maqoma wurden hier inhaftiert. 1865 wurde nach zahlreichen Schiffbrüchen auf dem damaligen "Fire Hill" ein 18 Meter hoher Leuchtturm errichtet, der bis heute existiert. Bis in das 20. Jahrhundert hinein befand sich auf der Insel ein Lager für Leprakranke, die hier in isolierten Dörfern lebten. 1895 errichteten Leprakranke mit selbstgebrochenem Schiefer die "Church of the Good Shepherd," die ebenfalls heute noch steht. Da viele Pfleger aus Irland kamen, wurde ein Teil der Siedlung "Irish Town" genannt.