Educato all'Eton College, Pulteney iniziò la sua carriera militare come ufficiale nella milizia di Oxford nel 1878. Nel 1881 venne trasferito nelle Scots Guards e prestò servizio in diverse campagne militari in Africa tra cui la Guerra anglo-egiziana e la Seconda guerra boera. Ottenne quindi il comando del 1º battaglione delle Scots Guards nel 1900, passando alla 16ª brigata nell'Irlanda meridionale nel 1908 e poi alla 6th Division nell'Irlanda meridionale nel 1910.