Amherst var sønn av generalløytnant William Amherst, som var for kong Georg III og guvernør av St. John's, og hans hustru Elisabeth Paterson. Han vokste opp på Isle of Wight. Etter foreldrenes død ble han tatt inn hos sin slektning Jeffrey Amherst, 1. Baron Amherst, fra hvem han i 1797 skulle arve tittelen . Skolegangen fikk han ved Westminster School og så ved Christ Church College i Oxford, der han avsluttet i 1797 med Master of Arts.