タウンゼント・ハリス
1859年4月下旬にハリスは長崎を訪問しており、5月初めに、既に長崎で活動を開始していたアメリカ人商人の一人でニューヨーク出身の実業家ジョン・G・ウォルシュを長崎の米国領事に選任した。ウォルシュは最初の長崎米国領事館を広馬場の日本人居住区に設立した。 ハリスは米国聖公会の熱心な信徒であるとともに、ニューヨーク市立大学シティ・カレッジを創設した教育者でもあり、日本で米国聖公会が学校を開設することの勧告と支援を行ってきた。このハリスの長崎訪問と同時に、プロテスタント日本初となる米国聖公会宣教師のジョン・リギンズが同年5月2日に長崎に来日し、ハリスの支援のもとで、長崎奉行の要請から聖公会の長崎私塾(立教大学の源流)を開設し、同年6月25日に来日したチャニング・ウィリアムズとともに、英学教育を開始した。こうして、ハリスは長崎でもアメリカの活動拠点の構築、整備、ミッション支援を進め、日本とアメリカとの外交基盤を整えていった。
1862年(文久2年)には病気を理由に辞任の意向を示した。幕府はハリスに大変感銘を受けたとして彼の留任を望み、米国政府に任期延長を求める書簡も送ったが、アメリカ政府の許可を得て4月に5年9か月の滞在を終えて帰国。辞任の理由に関しては、ハリスの日記にかねてからの体調不良があることや、また自分とは党派が異なる共和党のリンカーンが大統領で、南北戦争の故郷の心配があったことなども指摘されている。後任はロバート・プルインで、5月17日には着任して家茂に謁見している。
帰国後は業績を表彰され、1867年には議会はハリスに対する生活補助金の支給を可決している。特に公職には就かず、動物愛護団体の会員などになった。1876年には保養地のフロリダ州に移住し、1878年2月25日に74歳で死去。生涯独身であったため、姪が法定相続人となった。
ハリスが日本滞在中に書き残した書状や所有物等は、ニューヨーク市立大学の図書館に保存されており、その中にはハリスの日記や、公式文書、下田の総領事館に立てた米国旗もある。現在もニューヨーク市立大学と下田市の交流は続いており、過去15年間、下田市の代表団が毎年同大学を訪問している。
墓所はニューヨーク市ブルックリン区のグリーンウッド墓地。ハリスの墓には、日本の石の灯篭が建てられ、桜の木も植わっており、墓石には彼の功績と日米通商条約締結の成功を称え、「アメリカ国民だけでなく日本国民にも満足を与えた」と記されている。