Murió en 1774, y fue sucedido por su hijo Thomas Lyttleton, segundo barón Lyttleton.