Lyttelton, New Zealand
議席を失った後、再び大陸ヨーロッパ（主にネーデルラントとイタリア）を旅し、1771年春に歴史家ジョン・グレイ（）とともにヴェネツィアからミラノまで旅したが、グレイはリトルトンが「狂った人のように」ギャンブルに興じたと述べた。1772年6月26日、アッフィア・ウィッツ（、1744年頃 – 1840年4月9日、ブルーム・ウィッツの娘）と結婚したが、リトルトンはすぐに妻を捨て、とある女性バーテンダーを連れてパリに向かった。リトルトンはアッフィアとの間で子供をもうけなかった。1773年8月22日に父が死去すると、リトルトン男爵位を継承した。これに伴いリトルトンは本国に呼び戻された。『』が評価したところでは、リトルトンは爵位継承以降、より規則正しい生活を過ごすようになった（）という。