George Grenville
1763年にに反対し、その第二読会と第三読会で反対演説をして、リトルトンを批判することの多かったホレス・ウォルポールでさえリトルトンの演説を賞賛したほどだった。1764年2月、の『王権』（ドロワ・ル・ロワ、）の検閲を動議して可決させた。同年4月にはテンプル伯爵と大ピットと和解し、2人と首相ジョージ・グレンヴィルの仲をとりなして第3代ビュート伯爵ジョン・ステュアートに対抗しようとした。1765年7月に第1次ロッキンガム侯爵内閣が成立すると、入閣を打診されたが、大ピットとテンプル伯爵との決裂を断って入閣を辞退した。1766年1月、印紙法廃止に反対した。1766年に大ピットを首班とするチャタム伯爵内閣が成立するが、リトルトンは1767年3月に内閣崩壊を予想して、グレンヴィル派、ロッキンガム派、ベッドフォード公爵派の連立内閣を構想し（この構想において、リトルトンは自身は無任所大臣として入閣する予定だった）、その構想をジョージ・グレンヴィルに送った。1770年2月に庶民院によるジョン・ウィルクスへの追訴に反対、1772年にホイッグ党の登院拒否案に反対した。