In 1848 ontstond in de Kaapkolonie een crisis over een voorstel om de kolonie om te vormen in een strafkolonie. In een brief, die door de derde Graaf Grey, destijds de Britse Minister van Koloniën, werd gestuurd aan de gouverneur van de Kaap en aan andere koloniale gouverneurs, werd gevraagd om te bepalen welke houding de kolonisten jegens gevangenen zouden hebben. De Graaf was van plan om kleine Ierse boeren, die tot misdaad gedreven waren door de hongersnood, vanaf 1845 naar Zuid-Afrika te sturen. Als gevolg van een misverstand is een schip, genaamd "Neptune", naar de Kaapkolonie gestuurd voordat de mening van de al aanwezige (niet-criminele) kolonisten ingewonnen was. Het schip had 289 gevangenen aan boord, waaronder de beroemde Ierse rebel John Mitchel en zijn collegae. Toen het nieuws, dat het vaartuig op pad was, de Kaap bereikte, zijn de inwoners geweldig ontsteld geraakt en hebben zij een antigevangenenvereniging gesticht. Harry Smith, geconfronteerd met gewelddadige openbare oproeren, stemde uiteindelijk in om niet toe te staan dat de gevangenen aan land zouden komen. Toen de "Neptune" op 19 september 1849 in de Simonsbaai aankwam, moesten de gevangenen aan boord van het schip blijven, totdat de gouverneur bevelen ontvangen zou hebben om hen ergens anders heen te sturen. Toen de Britse regering in Londen bewust raakte van de toedracht van deze zaken, zijn bevelen gestuurd, waardoor de "Neptune" naar Tasmanië moest zeilen. Het schip vertrok dan ook, na vijf maanden in de Simonsbaai te hebben gelegen, naar Tasmanië.