羅金漢侯爵
在上議院，波特蘭公爵很快就成為了輝格黨羅金漢侯爵派系的支持者，而且是羅金漢黨人的其中一員； 至於憑藉其家族地位及財力，波特蘭公爵亦受到黨內重視。在1765年7月13日，羅金漢侯爵出任首相組閣，波特蘭隨即獲委為宮務大臣（Lord Chamberlain），另外又獲委任為樞密院顧問官。 到1766年7月，羅金漢因失勢下野，並由輝格黨另一派系領袖威廉·皮特（後為查塔姆伯爵）接任首相，但波特蘭與部份羅金漢黨人繼續在政府供職。不過，波特蘭等羅金漢黨人在皮特政府供職的日子並不長久，他們很快就不滿皮特作風專斷，再加上波特蘭與內閣另一閣員格拉夫頓公爵結怨，最終促使波特蘭與餘下的羅金漢黨人在1766年12月全體從內閣辭職， 此後波特蘭在上院渡過了長達近16年的在野生涯，先後與格拉夫頓政府（1768年－1770年）與諾斯政府（1770年－1782年）對立，但由於他欠缺演說才華， 因此表現並不突出。