Jeffrey Amherst var sønn av den kentiske advokat Jeffrey Amherst (død 1750) og hans hustru Elizabeth Amherst (født Kerrill), En bror ble admiral - John Amherst - og en annen generalløytnant - William Amherst.