安政元年（1854年）江戸馬廻組として出府。江戸へ出て間もなく本郷の弓町に振武館という道場を持つことを認められた。後年安中藩の剣術師範となり剣名を轟かせた根岸忠蔵はここの塾頭として修練を積んだ。安政4年（1857年）には土佐藩の江戸藩邸で行われた武術試合に選ばれて出場している。ただ、帆平にとって痛恨の出来事は、安政2年（1855年）10月の安政の大地震でよき理解者だった戸田忠敞が藤田東湖とともに圧死してしまったことである。斉昭にとっても水戸藩全体にとっても両田の死は大変な損失だった。この時期帆平は水戸にいる学者豊田天功、小太郎の親子に折に触れて便りし政治情勢を伝え、時事を論じている。これが仕事として行われたものであるかどうか詳らかでないが、天功という学者は海外事情の摂取に非常に積極的な学者だったからそれへの協力の意味があると思う。そこに一介の剣客ではない帆平を見ることができる。安政5年（1858年）4月に井伊直弼が大老に就任し、将軍継嗣問題に日米修好通商条約問題が絡み合って、江戸・京都の政治情勢は混とんとしてきた。とりわけ水戸藩をめぐる情勢はますます厳しくなった。安政5年（1858年）秋口から安政の大獄が始まるが、帆平にもその影響が及び、安政6年（1859年）11月、幕府の指示で、蟄居の刑に処せられた。以来水戸において3年近い蟄居生活を送る。罰の理由は詳らかでない。桜田門外の変の結果という説もあるが処罰はその前の年である。「浪士を引き連れて井伊家に斬り込む」との噂が流れたために危険人物として処罰の対象になったらしい。
仕官後間もなくだと思うが戸田忠敞の仲人で、水戸の碩学会沢正志斎の三女と結婚した。正志斎は幕末の日本に大きな影響を与えた有名な学者で、改革派の理論的指導者だったから帆平もその影響を受けたと思われる。仕官後3年半ほどたった弘化元年（1844年）藩主斉昭が幕府から叱責を受けて隠居・謹慎を命じられるという大事件が発生した。心ある藩士とともに帆平も藩主の雪冤運動に係わって、無断で江戸表まで出かけて行った。これを咎められて藩から4年半に及ぶ逼塞・遠慮という罰を受けた。縁者でもある帆平の墓碑銘の撰文者はこのおかげで「日夜研精し頗る大義に通ずるを得」たとしている。以前の帆平から脱皮する機会になったのかもしれない。嘉永4年（1851年）から翌5年（1852年）にかけて吉田松陰が東北地方を旅行した折には水戸の会沢正志斎宅で帆平に会っている（嘉永5年1月14日）。嘉永6年（1853年）6月、マシュー・ペリーの来航に当たって帆平は浦賀に赴き、交渉に当たった与力から貴重な聞き書きをとった。帆平の名を付した聞き書きは東京大学史料編纂所に「浦賀異船始末」として、また、鹿児島大学附属図書館の玉里文庫に「海防名応接記」として残されている。いずれも薩摩藩関係の文書である。筆者名を明らかにしていないがほとんど同じ内容の、元は同じと思われる資料がいくつか出回っているらしい。「海保帆平記」を疑う説もあるようだが「浦賀異船始末」の末尾の「海保帆平大胡聿蔵再度浦賀表発足而聞書之」から判断し、事実に則したものと思われる。ただし、水戸関係にこれを裏付ける資料はないようだ。帆平が浦賀に赴いたのは、戸田忠敞が、幕府の海防参与となった斉昭の許で海岸防禦御用掛となったことと関係あるのかもしれない。翌安政元年（1854年）江戸詰となったことについても浦賀での働きと関連があるのかもしれない。
文政5年（1822年）上州安中藩の江戸屋敷で男三人兄弟の次男として生まれた。幼名は鉞次郎、後に帆平、諱は芳郷。祖父荘兵衛は享和2年（1802年）に没するまで長く安中藩の江戸詰の年寄役を勤めていた。父荘兵衛も、その父の没後、少なくも文政8年（1825年）から天保8年（1837年）に没するまで江戸詰の年寄役を勤めている。兄左次馬は4歳年上、弟順三は2歳年下だった。帆平が幼時安中で剣の修業をしたという説があるが、父の役柄からありえない。生後一貫して江戸で過ごした筈である。天保6年（1835年）13歳のときに千葉周作の玄武館に入門、研鑽を積んで天保11年（1840年）18歳という記録的若さで大目録免許皆伝を得たといわれる。
アメリカ独立戦争が始まった1778年はケッペルの生涯でもっとも重要視され、議論を呼んだ時期である。ケッペルは家族の縁故からも個人的信条からもロッキンガム候およびリッチモンド公に率いられたホイッグ党を熱心に支持しており、当時ジョージ3世の断固たる意思により政権から遠ざけられていたホイッグ党の主張に全面的な共感を覚えていた。ケッペルは1761年から1780年まではウィンザー選出、それ以降はサリー選出の下院議員だったが、ホイッグ党員として国王の取巻きたちとは常に対立関係にあった。彼は他のホイッグ党員と同様、国王の取巻きたち、とりわけ当時の海軍大臣サンドウィッチ伯は「どのような悪事でもやりかねない」と信じていた。それゆえ、1778年にフランス艦隊との決戦の準備が整った西部戦隊の指揮官に任じられて出航した時には、サンドウィッチ伯が彼の敗北を願っているとケッペルは考えていた。さらに不運なことに、彼の指揮下の提督にはヒュー・パリサーが含まれていた。ケッペルは、海軍本部の一員であり下院議員でもあったパリサーをイギリス海軍の状態を悪化させた元凶の一人だと考えており、この見解は広く支持されていた。1778年7月27日、ケッペルはフランス艦隊とウェサン島の海戦を戦ったが、その結果は非常に不満足なものに終わる。その原因は主としてケッペル自身の不適切な指揮によるものだったが、パリサーが命令に従わなかったことも寄与していたため（後の調査ではパリサーの旗艦フォーミダブルは航行不能であったと認められている）、ケッペルはパリサーが彼を裏切って意図的に命令不服従をしたのだと信じるようになった。ケッペルは公式の報告書ではパリサーを賞賛していたが、私生活では彼を非難していた。さらに、ケッペルの友人たちの協力の下にホイッグ党が非難の論陣を張り始めると、海軍省側も同様の論調で反論し、ついには双方が相手側を反逆罪で告発しあう事態となって、議会や軍法会議を巻き込むスキャンダルにまで発展した。ケッペルは1779年2月11日に軍法会議にかけられ無罪となったが、3月18日に海峡艦隊を辞した。パリサーも4月12日から始まった軍法会議で無罪となった。ウェッサン島の海戦とその後の醜聞はイギリス海軍の凋落を示す出来事として受け止められている。