Il est le troisième fils de Henry Nevill (2e comte d'Abergavenny) et de son épouse Mary Robinson, il est né le 25 décembre 1789 et baptisé le 27 février 1790 à Isleworth, Middlesex . Le 20 octobre 1807, il achète une commission de sous-lieutenant dans le régiment d'infanterie. Il part avec le deuxième bataillon du régiment en Irlande en novembre, et sert plus tard avec le régiment pendant la Guerre d'indépendance espagnole. Nevill est promu lieutenant le 8 avril 1809. Après la Bataille de Vitoria, il obtient un des manteaux de Joseph Bonaparte, qu'il rapporte à la maison familiale du château d'Eridge en souvenir. Nevill est blessé à la bataille de Sorauren. Le 27 janvier 1814, il achète une capitainerie dans le régiment d'infanterie.