ホレス・ウォルポールによると、1779年に北部担当国務大臣の第12代サフォーク伯爵ヘンリー・ハワードが死去したとき、リトルトンはその後任に任命されなかったことに不満を感じて再び野党に転じた。