2012年3月に野田改造内閣が社会保障の安定財源の確保等を図る税制の抜本的な改革を行うための消費税法の一部を改正する等の法律を閣議決定したことを巡り、連立協定違反を理由に連立政権離脱を表明。しかし、党内の多数が連立維持を主張し、国民新党副代表である自見庄三郎が閣僚（金融・郵政改革担当相）とて同法案に署名したため、国民新党は分裂。同年4月5日に党内の連立維持派は亀井の国民新党代表の解任を決定したが、亀井は代表解任は無効と主張している。その後、亀井は翌4月6日に記者会見し、「解任は有効だとは思っていないが、私はこのまま国民新党にいるべきではない。今から、日本が立ち直って行くために、一兵卒として全力を挙げてがんばっていきたい。国民新党代表のまま離党いたします。以後はもちろん代表ではありません。」と述べ、亀井亜紀子と共に国民新党を離党した。
2011年6月27日、菅第2次内閣の内閣総理大臣補佐官（内閣の重要政策全般担当）に就任。当初、菅直人首相は副総理としての入閣を打診したが固辞し、最終的には首相補佐官としての起用を了承した。同年9月5日、野田内閣の発足に伴い首相補佐官を退任。
2010年6月11日未明、第174回国会での郵政改革法案成立が見送られたことを受け、「公党間の約束が履行されなかった」として民主党の菅内閣に激怒し、民主党との連立も解消をすると主張した。しかし、亀井久興に与党にとどまってほしいと懇願され、党内の4時間に及ぶ会合後、与党にはとどまることとなる。しかし、亀井静香は閣僚を辞任、後任は同党の元郵政大臣の自見庄三郎となった。議員引退後に「郵政改革の道は頓挫しました。民営化から十年が経ちましたが郵政事業は縮小し買収戦略は失敗続きでいろいろと問題が出てきていると感じます。ただ、私はすでに政界を引退した身。郵政のゆく末については後の世代に託すしかないね。」と述べている。
2010年4月17日、永住外国人への地方選挙権付与（外国人参政権）に反対する集会に出席し、「参政権付与が日本を滅ぼす。国民新党が拒否権発動しているから今国会で成立しない」と述べた。
2005年8月、小泉内閣が推進する郵政民営化に反対し、自民党に離党届を提出（受理されず除名処分）。後援会からは「気が狂ったのか」と散々言われたが、小泉政権のおかしな流れをここで止めなければと思った為離党届を出した。志帥会会長を辞任。国民新党結党に参画する。2005年9月、第44回衆議院議員総選挙において無所属（実質的には自民党執行部がバックアップ、立候補の記者会見場も自民党本部で行われた）で立候補した堀江貴文に苦戦を強いられるが、26,546票差で当選。当選に絶対的に自信があった為堀江に関しては質問された際「元気な若者でいいんじゃない」と言うぐらいで批判はしなかったが、「あれでは政治家として到底通用しません。本当に国民の生活を考えている政治家からは土の匂いがするものです。ホリエモンからは都会慣れした金の匂いしかしません」と述べている。選挙後、国民新党の代表代行に就任。2009年8月30日の第45回衆議院議員総選挙には、引き続き広島6区から国民新党公認と民主党の推薦を受けて立候補し、自民党の公認候補に67,479票の大差をつけて11期目の当選を果たした。この選挙では国民新党代表の綿貫民輔と幹事長の亀井久興がともに落選する事態となったため、選挙翌日に綿貫から代表を引き継いだ。
1960年11月20日の第29回衆議院議員総選挙で旧愛知県第3区から全国最年少で当選、以降連続当選16期を数えた。自民党青年局部長、1965年には自民党青年局長となり、青年海外協力隊の創設に力を注ぎ、生みの親の一人として知られている。初当選以来、河野金昇が幹部を務めていた三木派に所属し、三木武夫の秘蔵っ子として知られていた。また海部自身もクリーンな政治家として三木を尊敬し、「わかりやすく、きれいな政治」を信条としている。「理想の政治家は?」との問いに対しては、常に「三木武夫」と回答していたほどである。三木が総裁選で田中角栄に敗れた時には人目をはばからず号泣したという逸話もある。ただし、引退後の回想録『政治とカネ』で「三木もそれなりに買収工作をやっていた、金を貰った議員がみんな三木に入れていれば結果は変わっていた」と海部自ら暴露している。三木派が河本派に移行してからは、1994年に離党するまでの間、名実共にナンバー2として河本敏夫を支えたが、河本とは対照的に資金的な貢献が少なかったため、「財布閉じ器」と渾名された。ニューリーダーの次を狙う政治家として橋本龍太郎、藤波孝生らと共に「ネオ・ニューリーダー」と呼ばれた。早稲田大学雄弁会の先輩である竹下登ら早大出身者との親交が深かったため、「現住所河本派・本籍竹下派」ともいわれた。「竹下が総理になった暁には、河本派を離脱して竹下のもとに馳せ参じるのでは」と囁かれたこともある。1966年に労働政務次官、1972年に衆議院議院運営委員長、1973年に自民党人事局長、1974年に自民党副幹事長などの要職を歴任する。1974年には、三木武夫内閣の官房副長官に就任する。官房長官の井出一太郎の代わりにランブイエサミットの調整を行い、1975年スト権スト問題の時には、政府の窓口として労政交渉や野党対応、マスコミ討論を担当する。典型的な文教族であり、福田赳夫内閣と第2次中曽根内閣で2度文部大臣を務めている。文部大臣時代の業績として、「共通一次試験」の導入が挙げられる。