ב-1833 סיים מיליוטין את לימודיו באוניברסיטת מוסקבה וב-1836 סיים את לימודיו באקדמיה הצבאית. הוא נטל חלק במלחמת הקווקז כמפקד גדוד, נפצע בקרב ולאחר החלמתו עבר לכהן כמרצה באקדמיה הצבאית, שם התבלט כלוחם למען רפורמות במבנה ושיטות הלחימה של הצבא הרוסי. לאחר מלחמת קרים העלה מיליוטין הצעות מהפכניות לשינויים בצבא הרוסי אשר מצאו אוזן קשבת אצל אלכסנדר השני וב-1861 הוא מונה לתפקיד שר המלחמה.