Lyttelton, New Zealand
1742年2月にウォルポール内閣が崩壊すると、同年3月にウォルポール内閣への調査委員会の設立決議案に賛成した。ウォルポール内閣の崩壊に伴い王太子が与党に転じたのに対し、コバム派は入閣せず野党のままだったが、リトルトンは一旦は王太子の秘書官に留任した。1743年に首相ウィルミントン伯爵が死去すると、リトルトンはヘンリー・ペラムと手を組んで第2代カートレット男爵ジョン・カートレットを引きずり降ろすことを支持し、カートレット男爵が失脚してペラム率いるブロード・ボトム内閣が成立するとリトルトンは1744年12月25日に下級大蔵卿（）に任命された。これに対し、王太子は「自身の認めていない人物（ペラム）から官職を得た」として、リトルトンを即座に自身の秘書官から解任した。その後、1745年末に（官職についていない）大ピットとともに政府を攻撃したが、1746年2月に大ピットが官職を得ると再び与党に転じ、1747年4月にへの賛成演説をしてペラムに激賞された。1747年イギリス総選挙において、後援者だったトマス・ピットが王太子とともに野党に属したのに対し、リトルトンが与党に属したため、ピットはリトルトンを更迭して王太子の支持するを推そうとしたが、リトルトンが現地の有力者からの支持を確保しており、さらに与党側のペラムや第4代ベッドフォード公爵ジョン・ラッセルもリトルトンを支持したため、結局ピットとリトルトンがそのまま無投票で再選した。