המילטון למד במכללה הצבאית המלכותית, בסנדהרסט בשנת 1870, השנה הראשונה בה הכניסה לצבא כקצין התאפשרה לאחר בחינה ולא על ידי רכישת המשרה. בשנת 1871 הוא גויס לגדוד סאפוק, אבל לאחר זמן קצר הועבר לגדוד ה-2 גורדון הסקוטי שהוצב בהודו, והשתתף במלחמה באפגניסטן. המילטון השתתף בקרב מג'ובה במלחמת הבורים הראשונה בו נפצע ונלקח בשבי. כשחזר לאנגליה לצורך הבראה התייחסו אליו כגיבור והוא הוצג בפני המלכה ויקטוריה. בשנת 1882 קיבל דרגת קפטן ולקח חלק במשלחת הנילוס של 1884–1885, שם קודם לברווט (קידום ללא תוספת שכר) מייג'ור.  בבורמה 1886–1887 קודם לברווט לוטננט קולונל. במהלך שרותו בבנגל 1890–1893 קודם לקולונל (1891) יחד עם קבלת אות השירות המצוין. ב-1893–1895 שרת במשלחת צ'יטרל כמזכירו הצבאי של סר ג'ורג' סיוארט וייט, המפקד העליון של הכוחות בהודו. ב-1895–1898 מונה לסגן קצין האפסנאות הראשי בהודו. ב-1897–1898 פיקד על חטיבה במערכת טירה בה נפגעה ידו השמאלית מפגז.