怒った皇太子はランドルフにフランスでの決闘を申し込んだ。皇太子は射撃の名手であり、もし本当に決闘になったらランドルフに勝ち目はなかった。ランドルフは「将来国王になられる方に剣を向けるわけにはまいりません」とかわした。しかしやがてヴィクトリア女王からも睨まれるようになり、マールバラ公爵家はますます貴族社会から除者にされていった。立場が危うくなったランドルフ卿は岳父を頼って一時ニューヨークへ逃れた。その後、ランドルフの向う見ずさを気にいった首相・保守党党首ベンジャミン・ディズレーリが皇太子をなだめてくれたおかげで、ランドルフ卿はイギリスへ帰国できた。アイルランド勤務.帰国はできたものの、ほとぼりが冷めるまでイングランド外にいた方が良いとディズレーリ首相から勧められた。ディズレーリは父マールバラ公爵にアイルランド総督職を与え、ランドルフも父の秘書としてそれに同行することになった。しかし時々イングランドへ帰っては庶民院で毒舌をふるった。政府のアイルランド政策を「進歩という名のもとに行われる犯罪行為」と批判する演説も行い、政府を戸惑わせることもあった。「ランドルフ卿の演説はアイルランド総督の公式見解なのか」という政府の問い合わせに対してマールバラ公爵は「ランドルフについて私のできる唯一の釈明は、あの男は狂気か、あるいは、この地方のシャンパンや赤ワインに頭をやられたに違いないということだ」と回答している。「第四党」.野党となった保守党だが、を務める元蔵相サー・スタッフォード・ノースコート准男爵は温和な人柄で政権批判に向いているとはいえなかった。しかも彼はかつてグラッドストンの秘書であったため、今でもグラッドストンに敬意を払い続けていた。この政権攻撃力の弱いリーダーにうんざりしたランドルフは、アーサー・バルフォア、、とともに「」と呼ばれるノースコートに造反する独自グループを形成するようになった。「第四党」はノースコートを差し置いてグラッドストンを激しく攻撃し、とりわけランドルフはグラッドストン叩きの専門家と化していった。自党の古参議員たちに対する反抗心でやっている面も強かったので、自由党政権提出の法案を保守主義の方向ではなく民主主義の方向へ修正しようとすることもしばしばあった。ランドルフが注目される政治家になったのはこの「第四党」の活動をはじめてからである。