Il est né à Mayfair, Londres, fils de William Amherst (2e comte Amherst) et est baptisé le 3 mai 1836 dans l'église St. George, Hanover Square, Londres. Il fait ses études au Collège d'Eton et sert avec les Coldstream Guards, atteignant le grade de capitaine et combattant dans la bataille de Balaclava, la bataille d'Inkerman (où il est grièvement blessé) et le siège de Sébastopol pendant la guerre de Crimée.