V letech 1851–1853 sloužil jako profesionální voják ve Kaffírských válkách v Jihoafrické republice. V této válce byl zraněn a ve Krymské válce roku 1854 v Bitvě na řece Almě se mu roztříštila čelist. Roku 1860 se stal plukovníkem divize Scots Fusilier Guards. Roku 1874 jeho bratr William Annesley, 4. hrabě Annesley zemřel svobodný a bezdětný a proto Hugh zdědil titul hraběte Annesley. Roku 1877 byl zvolen jako zastupitel šlechty.