Akhir Oktober 1849, Manjiro berangkat dari New Bedford menuju California yang sedang dilanda Demam Emas. Perjalanan ke California memakan waktu sekitar 7 bulan. Kapalnya singgah di Valparaiso (April 1850), dan tiba di California pada Mei 1850. Empat bulan di California, ia berhasil mengumpulkan uang AS$600 dari hasil menambang emas. Dengan uang yang cukup banyak menurut nilai uang waktu itu, Manjiro berangkat dari California pada bulan Agustus, dan kembali ke Oahu, Hawaii untuk bertemu rekan-rekan nelayan dari Jepang. Ia hanya dapat bertemu dengan tiga orang dari mereka, karena salah seorang di antaranya sudah meninggal dunia. Dua rekannya sepakat untuk menemani Manjiro kembali ke Jepang. Manjiro dan rekannya menghabiskan waktu berbulan-bulan menyiapkan perjalanan mereka. Bantuan didapat mereka dari Konsul Amerika Serikat Mr. Allen dan Pendeta Samuel C. Damon dari Gereja Seamen's Bethel di Honolulu. Pendeta Damon membelikan sebuah perahu pendarat yang mereka beri nama "Adventure". Sebuah kapal dagang yang berangkat menuju Shanghai setuju untuk mengantar, dan mereka berangkat dari Hawaii pada bulan Desember 1850. Perahu "Adventure" yang dinaiki Manjiro dan dua rekannya (Denzo dan Goemon) diturunkan di dekat Kepulauan Ryukyu.