Als Sohn eines Fischers geboren, ging er dem Beruf seines Vaters nach. Er und vier weitere Fischer wurden 1841 von einem Taifun auf eine einsame Insel verschlagen. Nach einem halben Jahr wurde er von einem US-amerikanischen Walfänger gerettet und in die USA gebracht, wo er Englisch, Mathematik, Navigation sowie Vermessungskunde lernte. Er arbeitete als Walfänger und als Goldsucher in Kalifornien. Diese neuen Erfahrungen und Kenntnisse wurden für ihn auf Grund der Abschließung Japans und der dadurch bedingten eingeschränkten Verbreitung westlichen Wissens und Sprache sehr nützlich.