Han eide også et hus i Lyme Regis, og bidro til å gjøre byen til et populært reisemål da han hjalp jarlen av Chatham med å finne et sted hvor hans syke sønn kunne finne nye krefter. Sønnen var William Pitt den yngre, som senere ble statsminister.