11月3日、旧進歩党は憲政本党を結成した。大隈は党の中心的人物であったが、内紛のため党首を置くことはできなかった。明治32年（1899年）8月、伊藤は旧自由党派とともに立憲政友会を結成した。このとき、大隈の側近であった尾崎行雄は脱党し、政友会に参加している。明治33年（1900年）12月18日、大隈は憲政本党の党首である総理に就任した。しかし憲政本党は政友会に押されて振るわず、翌年3月までに33名の議員が離脱した。また桂園時代には裏面で桂太郎首相と連携しようと動いたが、与党にもなりきれなかった。明治35年（1902年）には伊藤と大隈が会談し、憲政本党と立憲政友会の合同、大隈の蔵相就任も噂されたが幻に終わった。議員の中からは党体制の改革を求める声が高まった。明治39年（1906年）3月には東北地方選出の議員が執行部の公選制を要求し、裏面で大隈の引退ないし元老化を求める動きが活発となった。この動きには大隈の側近であった大石正巳も加わっていた。11月には大隈側近の犬養毅が院内総務に選出されず、大石のみが選ばれ、改革派の伸長が示された。改革派は児玉源太郎、清浦奎吾、大浦兼武ら外部から党首を迎え、桂太郎首相に接近しようとする動きも見せていた。このため大隈は明治40年（1907年）1月20日の党大会で、憲政本党の総理を辞任することを発表した。ただし完全に憲政本党との関係を絶ったわけではなく、明治42年（1906年）には大石派と犬養派の仲裁を求められている。
野に下った大隈は、辞職した河野、小野梓、尾崎行雄、犬養毅、矢野文雄らと協力し、10年後の国会開設に備え、明治15年（1882年）3月には立憲改進党を結成、その党首となった。また10月21日には、小野梓や高田早苗らと「学問の独立」「学問の活用」「模範国民の造就」を謳って東京専門学校（現・早稲田大学）を、北門義塾があった東京郊外（当時）の早稲田に開設した。しかし党首としての大隈は、演説をすることもなく、意見を新聞等で公表することもしなかった。明治17年（1884年）の立憲改進党の解党問題の際に河野敏鎌らとともに改進党を一旦離党している。明治20年（1887年）、伯爵に叙され、12月には正三位にのぼっている。
その頃自由民権運動の盛り上がりにより、各参議も立憲政体についての意見書を提出する動きがあったが、大隈はこれになかなか応じなかった。明治14年（1881年）1月には伊藤・井上・黒田清隆とともに熱海の温泉宿で立憲政体について語り合ったが結論は出なかった。3月、大隈は意見書を提出するが、それは2年後に国会を開き、イギリス流の政党内閣とするという急進的なものであり、しかも伊藤ら他の内閣閣員には内密にしてほしいという条件が付けられていた。この意見書の内容を知った岩倉は、大隈と伊藤の関係が壊れることを危惧して、大隈に忠告したが、大隈はなんの対応も取らなかった。7月にこの意見書の内容を知った伊藤は驚愕し、大隈は「実現できるような見込みのものではない」と弁明したが、伊藤は抗議のため出勤しなくなり、大隈は7月4日に謝罪することとなる。7月26日、自由民権派の『東京横浜毎日新聞』が北海道開拓使による五代友厚への格安での払い下げを報道し、世論が沸騰した。参議の間ではこの件をリークしたのが大隈であるという観測が広がり、孤立を深めることとなった。伊藤は大隈への不信感を強めて排除の意思を固め、また大隈の旧友であった五代も福沢らと大隈が共謀していると考えるようになった。大隈が自らを排除する動きが進んでいたのを知ったのは10月3日のことであり、10月11日には払い下げの中止と、明治23年（1890年）の国会開設、そして大隈の罷免が奏上され、裁可された。これは同日中に伊藤と西郷従道によって伝えられ、大隈も受諾した。10月12日に大隈の辞任が公表されると、小野梓ら大隈系の官僚や農商務卿河野敏鎌、駅逓総監前島密らは辞職した。また大隈派官僚とつながりがあるものも罷免された。
5月の2週目、ドイツ軍の東、Gratangseidetへのノルウェー軍の進撃はナルヴィク戦線における最も重要な活動であった。その上、ノルウェー軍の右側面ではフランスのアルペン猟兵部隊がノルウェースキー中隊の支援を受けて、ラバージュの谷へ進んでいた。オフォトフィヨルド南部では連合軍はあまり成功を収めておらず、また、オフォトフィヨルド北部では作戦行動を行っていなかった。ノルウェー軍は山岳での作戦に成功し続け、5月半ば、連合軍は主導権を奪い、重要な勝利を成し遂げた。パリとロンドンの両政府はナルヴィク戦線における進歩が遅いことによりいらいらしており、そのため、フランス軍の指揮官はより多くの行動を取るよう迫っていた。慎重に上陸を行うことは断念され、5月12日真夜中、陸海空共同による攻撃が開始された。この攻撃はBjerkvikへ向けられ、ヘリヤンクスフィヨルドでイギリス海軍による砲撃の後に行われた。フランス外人連隊は軽戦車5両の支援を受けた上で岸に上陸した。フランス軍はBjerkvik、Elvegårdsmoen駐留地を占領、ドイツ軍が撤退した北西方面へ進撃、そしてHerjangsfjordの東側に沿って南へ移動した。計画ではポーランド部隊はフィヨルド西側へ上陸した後、Bjerkvikの方へ進撃することになっていたが、複雑な地形は彼らの進撃を遅らせることとなり、Bjerkvikが占領される前に到着することができなかった。それはフランス軍とノルウェー軍がドイツ軍を包囲するために北から進む計画の一部であったが、ノルウェー軍とフランス軍の指揮官らの協力関係問題はドイツ軍が撤退できる隙間を残すこととなった。これらの問題にも関わらず、連合軍はナルヴィク北方の見通しが利く場所を占領した上で、ロンバックスフィヨルド（Rombaksfjord）上で攻撃する予定であった。また、連合軍はバルドゥフォス（en）からの航空支援が完全に確立されるのを待ったため、攻撃開始が遅れていた。5月28日23時40分、海軍による砲撃が北から開始された。フランス軍2個大隊とノルウェー軍1個大隊はロンバックスフィヨルド対岸へ輸送され、北からナルヴィクに向かって進撃した。南側ではポーランド大隊がアンケネス（en）とベイスフィヨルド（en）方面へ進撃していた。上陸用舟艇の最大定員は290名であったが、これらの部隊は45分間、補強することができなかった。残りのフランス軍、ノルウェー軍の部隊が上陸する頃までに、これら最初に上陸した部隊はオルネス（Ornes）で足場を確保していた。フランス軍は都市の方へ西進、そして鉄道に沿って東進した。ノルウェー軍はTaraldsvik山の方へ進撃、その後、転進して都市のほうへ山を下った。ドイツ軍指揮官は午前7時前に撤退を決定、ベイスフィヨルドに沿って退却、連合軍は陸上で初の大きな勝利を得ることとなった。