勝海舟
アメリカ滞在中は政治・経済・文化など何もかも日本と違う文明に衝撃を受けたが、他の乗組員といざこざを起こしたとされている。サンフランシスコ入港時に木村が実家の家紋を咸臨丸の旗に掲げようとしたのに対し、海舟は徳川将軍家の葵の御旗を掲げるべきと主張、議論の末に木村案が通った話、咸臨丸から祝砲を打ち上げようと佐々倉が言うと海舟が拒否したが、佐々倉が見事成功したため面目が潰れたという逸話、パナマ行きを巡り帰国したがった木村と対立したという問題が挙げられる。最初の問題は事実だが、2つ目の話は諭吉の記憶違いで事実ではなく、3つ目も確かな裏付けが取れないため虚構とされる。松浦はこれらの逸話を検討した上で海舟と木村の対立は事実だとして、自分達は一国を代表してアメリカへ来たという意識があった海舟と、そういう意識が無かった木村との間が上手くいかなかったことが原因と書いている。また、明治も半ばを過ぎてから、諭吉が「瘠せ我慢の説」で新政府に仕えた勝を攻撃したことで知られる諭吉と勝の確執も、咸臨丸航海から始まっている。
帰国後の6月24日に蕃書調所頭取助に異動、旗本としての格式は天守番頭過人となった。翌年の文久元年(1861年)9月5日に講武所砲術師範となり天守番之頭格に格上げされたが、海軍から切り離されたためこれを左遷または海軍からの追放と受け取り、直弼暗殺後に政権を担当した安藤信正・久世広周の元では海軍強化の提案もロシア軍艦対馬占領事件に関する建策も採用されず不満の日々を送った。また、蕃書調所での勤務態度は不真面目でさぼってばかりで、頭取古賀謹一郎に任せきりだったとされる。
徳富蘇峰は明治20年代に赤坂氷川の海舟の邸内の借家(名義は勝の長女の嫁ぎ先の内田氏)に住み勝の教えを受け、海舟を生涯の師の一人と仰いでいる。蘇峰は「勝先生と相見たのは先生の六十歳以後であり、立てば小兵で別段偉丈夫らしく見えぬが、ただ五尺の短身すべてエネルギーというべきもので、手を触れれば花火を飛ばすごとき心地がした。先生が正面から人を叱りつけたことは見たこともなく、聞いたこともなかったが、その上げたり下げたり、人をひやかすことの辛辣手段に至っては、いかなる傑僧の毒話も及ぶところではない。誰でも先生に面会すれば、一度は度肝を抜かれた。先生は何人に対しても、出会い頭に真拳毒手を無遠慮に下した。それを辛抱して先生の訓えを聴かんとする者には必ず親切、丁寧に、手を取らんばかりに教え導いてくれた。」と書き残している。
上記のように海舟の人となりを最大限に讃えている蘇峰だが、晩年の勝の放言には閉口することもあったようで、「惜しむらくはあまりにも多弁」とも書き残している。
高橋敏は、著書で福澤諭吉が蘇峰の書いた文章を読んで驚き、『瘠我慢の説』を執筆したとしている