自由党政権で閣僚職歴任.首相.ハーコートはローズベリー伯の内閣にも財務大臣として残留したが、彼はなにかにつけて首相ローズベリー伯に逆らった。またローズベリー伯は自由党内の帝国主義者のグループ「自由帝国主義者」の領袖であり、「平和主義者」グラッドストンとは立場が違っていた、グラッドストンが目指したアイルランド自治法案にも消極的であった。そのためからの支持もグラッドストン時代ほど磐石ではなくなり、自由党内も急な方針転換に動揺した。さらに保守党支配下の貴族院は彼らと思想が近い自由帝国主義者の貴族が首相になろうとも自由党政府の法案を葬り去ることに遠慮をしなかった。唯一予算案のみは貴族院は否決しないのが慣例だったが、その分野では財務大臣ハーコートが累進性の相続税を導入して国民人気を博した。ローズベリー伯は相続税に消極的でハーコートと対立したのでその株はますます下がった。ローズベリー伯は首相をやることにうんざりし、「私はゴミ捨て場のようなものさ。何かいいことがあれば皆自分にとっておき、嫌なことは全部私に押し付ける」と愚痴るようになった。野党自由党党首として.下野後も自由党党首を務めていたが、自由党庶民院院内総務ハーコートとの党内対立は続いた。ローズベリー伯はハーコートとの同席を嫌って影の内閣の会議にもあまり出席しなくなり、ハーコートが独断で党の方針を決定するということが増えていった。党内影響力の低下.保守党政権が第二次ボーア戦争を開始するとローズベリー伯はハーバート・ヘンリー・アスキスやらとともに「自由帝国主義派」として政府の方針を支持し、ロイド・ジョージら戦争に反対する党内左派(「親ボーア派」と呼ばれた)と対立した。当初自由帝国主義派が優勢だったが、ボーア戦争の戦況が泥沼化してくると党内の空気は親ボーア派に傾いていき、曖昧な立場をとってきた党首キャンベル=バナマンも親ボーア派寄りになっていった。晩年.人物・評価.しかし彼は常に人々に親しく情をかけ、打ち明け話もするので広く人望があった。そのため傲慢な性格のウィリアム・ヴァーノン・ハーコートに比べれば明らかに党内に敵が少なかった。これがグラッドストン引退後にヴィクトリア女王がハーコートではなく、ローズベリー伯に組閣の大命を与えた最大の理由である。