父亲死亡后为了扶养虚弱的母亲与哥哥，因此从年幼时便开始工作，担当起整个家族。因为贫困而没有去私塾读书，几乎也没能读写。天保12年（1841年），15岁的时候担任渔夫的帮手出海与渔夫同伴们一同遭遇暴风雨遇难，漂流5日半后，奇蹟地漂到位在太平洋上的无人岛鸟岛，在那生活了143天。之后遇到在那附近的美国捕鲸船约翰・霍伊特菲尔德号与同伴一起被救起。然而因为日本那个时候实行锁国，因此在停泊夏威夷时将其中年纪大的漂流者留下，不过，被船长霍伊特菲尔德中意的万次郎遵从本人希望就那样一起去航海了。到那时才第一次看见了世界