愛爾蘭王國
然而，福克斯-諾斯聯盟紛爭不斷，波特蘭公爵出任首相僅約八個月便被迫下野。自此以後，波特蘭在議會內一度處於反對派的陣營，但隨著法國大革命於1789年爆發，他的立場亦愈益保守，與立場激進的福克斯等人出現分歧，並開始轉投由小皮特領導的托利黨。自1794年至1801年，波特蘭公爵更獲皮特委到內閣擔任內政大臣，此後一直在內閣供職至皮特於1806年逝世為止。在內政大臣任內，波特蘭公爵協助政府引入多項高壓性的戰時法令，另外又對1798年愛爾蘭叛亂進行鎮壓；至於在他的參與下，大不列顛王國與愛爾蘭王國更在1801年合二為一，成為一個統一的「大不列顛及愛爾蘭聯合王國」。