長州五傑
4月中旬、井上と伊藤はロンドンを発つ。井上は当時を回想して「国家に対する憂いの思いは、国内に居る時よりも寧ろ海外に在る時が切実なのを覚えた。例えば藩主は今如何に憂慮して居られるだろうか、同志の士は如何に行動しつつあるか、或いは彼らは攘夷の為に戦死したのでは無かろうか、或いは敗戦の結果土地割譲の窮地に陥ったのでは無かろうかなど」と言っている。
6月10日(7月13日)頃、2人は横浜に到着した。伊藤と共にガウワーに会い急遽帰国した説明をしたところ、ガウワーは4カ国が下関を襲撃する計画があることを告げた。両名は故国の安危に関する大事件と受け取り、イギリス公使館の通訳アーネスト・サトウを介して公使ラザフォード・オールコックと会見し、自分たちが長州藩に帰って藩論を一変したいと説明し、停戦講和を願った。駐日公使は「フランス、アメリカ、オランダの公使と協議して確答するから数日間居留地のホテルに宿泊して待つように、その際長州人と分からないように日本語を使ってはならない」と申し渡された。
2人に対してホテルのボーイ等は「今回ホテルに来たポルトガル人の顔付きは日本人に似ている、けちで金銭を使わぬには驚いた、金銭を使う道を知らぬのではあろうが、彼ら2人の風貌から見てもポルトガル人の中でも最下等の貧乏野郎」など、言葉が分からないものと思って勝手なことを話していた。やがてイギリス公使から連絡があって、他の3国も了解したから国に帰って尽力して欲しいと、藩主あての公使からの書簡を手渡された。書簡に対する返答は、到着から12日後と決まった。
遠藤、野村、山尾は、薩摩藩からの密航留学生(薩摩藩遣英使節団)たちの存在を知り、交遊している。遠藤は慶応2年(1866年)、野村と山尾は明治元年11月19日(1869年1月1日)に帰国した。