De todos modos, Chesterfield se estaba quedando paulatinamente sordo, por lo que poco a poco se fue retirando de la vida política y de la sociedad.