ところが、トーリー党は王位継承問題で内部分裂を起こし、アン女王の死後即位した又従兄のジョージ1世と結びついたホイッグ党によってハーレー・シンジョンら主要党員が弾劾・罷免され、オーモンドもホイッグ党に弾劾され全ての官職と公位及び財産を没収され、ジャコバイトと結んで反乱を起こしたが失敗してフランスへ亡命した。その後1719年に四国同盟戦争に従軍したりジャコバイトの再度の反乱に加わったが、イギリス上陸に失敗し友軍のスペイン軍もイギリス軍に敗北（グレン・シールの戦い）、イギリスへ戻れないまま1745年にアヴィニョンで80歳で死去。1682年にロチェスター伯ローレンス・ハイドの娘アンと結婚、1685年にボーフォート公ヘンリー・サマセットの娘メアリーと再婚したが、どちらの結婚でも生存している男子が無かったため、イギリスに残った弟のチャールズがアイルランド貴族としてのオーモンド公位を継承した。