Ministerinä Miljutin uudisti kokonaan Venäjän sotilaskoulutuksen ja peruskoulutus saatettiin kaikkien alokkaiden ulottuville. Kadettikoulut kehitettiin korkeakouluiksi ja alemman upseeriston kouluttamiseksi perustettiin junkkarikouluja. Puolan kapinan jälkeen armeijan koko kaksinkertaistettiin. Miljutinin kaudella Venäjän sotilashallintoa hajautettiin jakamalla maa sotilaspiireihin, sotilaiden ruumiilliset rangaistukset kiellettiin ja sotilasoikeudenkäyntien oikeusjärjestystä muutettiin. Merkittävin uudistus oli kuitenkin 1874 käyttöönotettu yleinen asevelvollisuus, joka koski kaikkia 20-vuotiaita miehiä lukuun ottamatta erityissyistä vapautukseen oikeutettuja. Samassa yhteydessä palvelusaika voitiin lyhentää 25:stä kuuteen vuoteen. Lisäksi palvelusajan jälkeen asevelvolliset olivat yhdeksän vuotta reservissä ja sen jälkeen 40-vuotiaiksi saakka nostoväessä, johon kuuluivat myös kaikki aktiivisesta palveluksesta vapautetut. Uudistus oli mullistava, vaikka lukuisten perheellisyyteen liittyneiden poikkeusehtojen seurauksena pääosa ikäluokasta itse asiassa vältti palveluksen. Miljutin olisi halunnut ulottaa järjestelmän sellaisenaan myös Suomen suuriruhtinaskuntaan, mutta lopulta sotaministeriö ja keisari hyväksyivät suomalaisten toivomat merkittävät poikkeukset, joiden myötä Suomi sai oman asevelvollisen sotaväkensä vuonna 1881.