Era sobrino de Jeffrey Amherst, 1er barón de Amherst, a quien sucedió en el título en 1797.