Ende des Jahres zog er nach Kalifornien, um dort sein Glück als Goldgräber zu versuchen. Wenige Jahre später zog er in Begleitung von Harriets Sohn Joseph weiter nach Australien, wo er sich ebenfalls als Goldgräber betätigte. Ob die Entscheidung, nach Kalifornien und Australien zu gehen, durch das Fugitive Slave Law bedingt war, ist nicht klar. Seine Schwester schreibt ausdrücklich, John sei von dem Gesetz nicht betroffen gewesen, da er von seinem Besitzer in den Norden gebracht worden war und nicht durch Flucht dorthin gelangt war. Andererseits schreibt Garrison viele Jahre später anlässlich von Johns Beerdigung, dass er bis zur Verabschiedung des Fugitive Slave Law im Norden geblieben sei, und danach das Land verlassen habe, "weil er wusste, dass es auf unserem Boden keine Sicherheit mehr für ihn gebe."