以降5年にわたって野党党首時代を送った。この間、保守党庶民院院内総務ディズレーリは政権に対して徹底対決路線をとったが、一方ダービー伯爵はピール派を保守党に呼び戻したいという意図から徹底対決路線を避けようとした。クリミア戦争については、アバディーン伯爵がはじめからフランスを支持するとロシア皇帝に通達しておけば、恐らくロシアはバルカン半島への侵攻など企まなかったであろうと主張して、アバディーン伯爵政権の優柔不断な外交を批判した。しかし開戦後は挙国一致体制のためとして、原則として政府の戦争遂行を支持するという立場をとった。首相がホイッグ党のパーマストン子爵に代わった後の1856年に勃発したアロー戦争については、「私は弱者を擁護する者である。強大なイギリスに対して弱き中国のために一助を惜しまぬものである」として戦争反対を表明した。一方、ディズレーリは国民の愛国ムードを敏感に感じており、これを争点にしても勝ち目はないと正しく予見していたが、党首ダービー伯爵はアロー戦争反対で政府に闘争を挑むことを決定してしまった。保守党、ピール派、急進派の賛成多数でパーマストン子爵を批判する決議が採択されると、パーマストン子爵は1857年4月に解散総選挙に打って出た。選挙は党派を超えてパーマストン子爵を支持する議員が大勝し、強硬な戦争反対派議員はほぼ全員落選した。保守党全体としては20議席ほど減らす結果となった。あてが外れてダービー伯爵は意気消沈したという。
ホイッグ党政権は首相ジョン・ラッセル卿とラッセルに解任された外相パーマストン子爵の内紛にディズレーリが付け入る形で崩壊した。その後を受けて1852年2月にダービー伯爵が大命を受けた。第1次ダービー伯爵内閣は大臣・枢密顧問官経験者がわずか3人の内閣で、後は全員新顔だった。そのため「誰?誰?内閣」と呼ばれた。1852年7月の総選挙で保守党は議席を伸ばしたが、過半数には今一歩で届かなかったため、11月に議会が始まれば倒閣されることを覚悟せねばならなかった。10月にオックスフォード大学総長（Chancellors of the University of Oxford）に就任した。12月には庶民院でディズレーリの予算案が庶民院で否決され、内閣総辞職を余儀なくされた。ピール派のアバディーン伯爵内閣にとって代わられた。
穀物法廃止法案は保守党内自由貿易派と野党のホイッグ党や急進派の賛成多数により可決されたものの、保守党内には埋めがたい溝ができ、ディズレーリやベンティンク卿は野党勢力と連携して1846年6月にアイルランド強圧法を否決することでピール内閣を総辞職に追い込んだ。ロバート・ピール以下、保守党内の自由貿易派議員112名は保守党を離党してピール派を結成した。これによってウィリアム・グラッドストンなど閣僚や政務次官経験者はほぼすべてピール派に流れていった。7月18日の保守党両院議員による晩餐会が開かれ、その席上でスタンリー男爵が保守党全体の党首、ベンティンク卿が保守党下院院内総務と定められた。ヴィクトリア女王は辞職したピールに代わってスタンリー男爵に大命を与えようとしたが、彼は党の実務経験者がすべてピール派に移っていたことから組閣は不可能と判断して、ホイッグ党とピール派に連立政権を作らせるよう助言し、その結果ジョン・ラッセル卿が組閣することとなった。1851年春に父第13代ダービー伯爵が死去し、52歳にして第14代ダービー伯爵位を継承した。
エドワードがホイッグ党を離党すると、80名ほどのホイッグ右派がそれに従ってホイッグを離党した。その後、彼らはダービー派と呼ばれる独立会派を形成するようになり、トーリーとホイッグの間に立つ第三党を目指すようになった。1834年10月に祖父である第12代ダービー伯爵が死去し、父が第13代ダービー伯爵位を継承したことで、以降エドワードはスタンリー卿（Lord Stanley）の儀礼称号を使用するようになった。スタンリー卿とその会派は、1834年12月に成立した保守党政権の第1次ピール内閣を支持した。しかし同内閣は野党の結集で1835年4月にも倒閣された。続いて成立したメルバーン子爵率いるホイッグ党政権から入閣要請を受けたが、メルバーン子爵がアイルランド独立運動家オコンネルに譲歩する構えだったのでスタンリー卿は入閣を拒否した。1837年夏にヴィクトリア女王の即位に伴う解散総選挙が行われたが、スタンリー卿の会派は60議席に落ち込んだ。これにより独自会派のままでは議会のキャスティング・ボートを握れる可能性が低くなった。そのためスタンリー卿は保守党と合流することを決意した。
予選でフェラーリがフロントローを独占、ファン・パブロ・モントーヤが3番手に入った。ジャンマリア・ブルーニ、クリスチャン・クリエン、オリビエ・パニスは時間内にタイムアタックすることができなかった。決勝ではフェラーリが他チームに対して優位な立場にあることが証明された。シューマッハとバリチェロによるフェラーリの1-2は、2002年日本グランプリ以来であった。2位のバリチェロと3位のフェルナンド・アロンソの間には20秒以上の差があった。シューマッハは58ラップすべてで首位を明け渡すこと無くチェッカーを受けた。スタートでモントーヤはルノーのアロンソに隙を突かれ、縁石を超えて芝生に乗り上げ大きく順位を落とす。モントーヤはチームメイトのラルフ・シューマッハの後方に下がった。ラルフをレースで一時は追い抜きながらも、結局モントーヤはラルフに次ぐ5位でレースを終えた。アロンソは3位でルノーを表彰台に導いたが、ジェンソン・バトンは6位に終わった。マクラーレンは前年ほどの戦闘力が無く、キミ・ライコネンはエンジントラブルでリタイアし、クルサードが8位入賞、ようやく1ポイントを獲得した。マクラーレンは予選では中盤に沈み、ライコネンが10位、クルサードが12位であった。ザウバーのジャンカルロ・フィジケラはジョーダンのニック・ハイドフェルドと共に中段グループで長時間争った。フィジケラがハイドフェルドをパスし、ハイドフェルドは後にトランスミッションの不具合でリタイアした。この他、ミナルディのゾルト・バウムガルトナー、ジャガーのマーク・ウェバー、ザウバーのフェリペ・マッサがリタイアした。ウェバーは6番手でスタートしたが、29ラップ目にトランスミッションのトラブルに泣いた。マッサは360度のスピンを乗り切ったものの、エンジンブローでリタイアした。