継右衛門
しかし文化2年(1805年)5月、ペテロパウロフスクに帰ってきたレザノフたちから日本との通商交渉決裂を知り、状況は一変する。6人への風当たりは厳しいものとなり、配給が滞るようになった上に、道を歩くと日本人というだけで罵られるようになった。そのため、6人はペテロパウロフスクを脱走し、千島列島沿いに南下して日本に帰ることを考え始める。
相談の末、6人は脱走して日本に帰ることを善六だけに伝えた。善六は6人のこの案に猛反対し、他の漂流民たちもいるイルクーツクに行くことをすすめたが、6人はイルクーツク行きを頑なに拒否した。最終的に6人の決意が揺らがないことを知った善六が折れて、6人のために船や食糧の調達にあたるなど、帰国のための協力をした。
6月中旬、風向きが変わったことから、継右衛門は日本に向けて出港することを決意する。6人は滞在中に世話になった船長や役人たちに挨拶にまわり、食糧以外の衣類や日用品をすべて返却した。そしてこの日の夜、浜辺には小舟が用意され、善六ひとりが6人を見送った。善六は別れ際「日本に帰るのは難しい」と言って、6人を見送った。
ペテロパウロフスクを脱走した6人は、15日ほどでロパトカ岬に着くが、ここで船は沖合に流されてしまう。6人はこれによって覚悟を決めるも、夜半から風向きが変わり、無事幌筵島に上陸することができた。この時点で既に食料は尽きており、幌筵島では海岸に打ち上げられた鯨の屍骸を食べて飢えをしのいだが、ここで最初に出会ったアイヌの漁師たちと再会し、これ以降6人はアイヌと行動をともにするようになった。
このころ、幌筵島には中千島の羅処和島からアイヌの一団が出稼ぎに来ており、ちょうど羅処和島に帰る時期であった。6人はアイヌの有力者マキセンの計らいによって船に乗せてもらい、羅処和島まで南下し、ここでアイヌや得撫島から避難していたロシア人とともに年を越した。
翌文化3年(1806年)、羅処和島の食糧が不足してきたことから、マキセンは6人を日本の番屋のある択捉島に送ることを決定し、2月13日にマキセンたちと共に羅処和島を発った。