Το 1812 έγινε η πρώτη απόπειρα να χρησιμοποιηθεί το νησί ως άσυλο για τους διανοητικά διαταραγμένους. Το 1819, μετά από μια αποτυχημένη εξέγερση στο Γκράχαμσταουν, τον πέμπτο από τους Πολέμους των Κάφρων, η Βρετανική αποικιακή κυβέρνηση καταδίκασε τον Αφρικανό ηγέτη Μακάντα σε ισόβια κάθειρξη στο νησί. Αυτός απέδρασε από τη φυλακή και πνίγηκε στις όχθες του Κόλπου του Τέιμπλ. Το νησί χρησιμοποιήθηκε επίσης ως αποικία λεπρών και καραντίνα ζώων. Το 1843 ο Γραμματέας της αποικίας, ο Τζον Μόνταγκιου, έθεσε σε εφαρμογή ένα σχέδιο για να χρησιμοποιηθεί το νησί ως αποικία για λεπρούς, άπορους, παράφρονες και χρόνιους ασθενείς. Το 1845 το νησί έγινε ένα σπίτι για τους ανεπιθύμητους, για τους τρελούς, τους αλκοολικούς, τους άστεγους, τους γέρους και τους φορείς μεταδοτικών ασθενειών. Οι κακόμοιροι άνθρωποι υποβάλλονταν σε αγωγές που ήταν ανθυγιεινές και απάνθρωπες και η κατάσταση στο νησί συχνά προκάλεσε τις διαμαρτυρίες των κληρικών και του ιατρικού προσωπικού.