木村芥舟
明治新政府からもその実力を評価されて、仕官の誘いがあったが、木村はそれらを全て謝絶して完全に隠居し、親友の福澤諭吉と交遊しながら、詩文を読む生活を送ったといわれている。慶應義塾の面倒も見ており、親睦会でたびたび塾を訪れたり、芝・新銭座の有馬家中津屋敷に土地を用意したりしている。
福澤との関係を論じる場合は、勝海舟は切って離すことの出来ない人物である。規則には常に厳しく「公明正大」を信条としていた木村に対し、柔軟かつ奔放であった勝とは海軍伝習所時代よりあまり折が合わなかったようである。咸臨丸での渡米の際は、勝は艦長でありながらも出港前より大腸カタルを患っていたためにろくろく指揮が出来なかったが、上陸するとアメリカ人と対等に会話をしていたので、それも木村や福澤の目には良く映らなかったようである(福澤は読み書きは不便なく出来たが、会話は不得手だった)。こういった事情もあり、福澤は咸臨丸搭乗の件でも木村に恩があり、それを抜きにしても深く尊敬していたこともあり、勝を心底嫌っていた。
万延元年(1860年)、前年6月に締結された日米修好通商条約の批准のためアメリカに使節を派遣することになった。この時、軍艦奉行・水野忠徳の建議で、米艦ポーハタン号を使用する正使新見正興一行とは別に咸臨丸を派遣することになった。9月10日、軍艦奉行並に任じられていた木村は咸臨丸の司令官として、軍艦奉行に任じられる。咸臨丸の司令官に就任するにあたっての航海手当は小栗忠順と同格以上であった。
木村は乗組士官を選考し、まず佐々倉桐太郎、鈴藤勇次郎、浜口興右衛門を運用方として任命し、測量方として小野友五郎、伴鉄太郎、松岡磐吉を任命し、蒸気方に肥田浜五郎、山本金次郎ら軍艦操練所・海軍伝習所の関係者を選定した。従者としては福澤諭吉を連れて行くことになった。その他、通訳にはアメリカの事情に通じた中浜万次郎を、その他才覚を表し始めていた勝海舟を同乗させるなど、勘定所から巨費を受けて出帆準備を進めた。また、航海の道案内と米国側との連絡のため、海軍大尉ジョン・ブルックを始めとする米国の軍人の乗艦を幕府に要請し、反対する日本人乗組員を説得して認めさせた。
万延元年1月19日、浦賀を発った咸臨丸は2月26日にサンフランシスコに到着し、木村ら一行は遅れて到着した正使一行と共に市民の熱烈な歓迎を受けた。また、公式の歓迎行事の他に咸臨丸が修理を受ける間、現地の人々との交流も行っている。ワシントンへ向う正使一行と別れ、閏3月19日にサンフランシスコを発った咸臨丸はハワイ王国のホノルルを経て、5月5日に浦賀へと帰還した。