Milne besuchte das Gymnasium in Aberdeen und die Royal Military Academy in Woolwich. 1885 trat er in die Royal Artillery ein und nahm an der Niederschlagung des Mahdi-Aufstands teil, wo er in der Schlacht von Omdurman kämpfte. Während des Zweiten Burenkriegs war Milne als General-Adjutant Lord Kitcheners eingesetzt, am 1. November 1900 wurde er Oberstleutnant. Für seine Verdienste im Burenkrieg erhielt Milne den Distinguished Service Order.