În timpul perioadei din Caucaz, Marele Duce a excelat la echitație și și-a început cariera militară. Tânăr soldat, Mihail a participat la războiul ruso-turc din 1877-1878 și a fost promovat colonel. Îi plăcea viața militară și a servit în regimentul de vânătoare al gardienilor Egersky. În 1882, când Marele Duce Mihail avea 20 de ani, s-a întors cu familia la St. Petersburg când tatăl său a fost numit președinte al Consiliului de Miniștrii. Mihail era superficial și nu era o mare inteligență însă era înalt și frumos. A devenit popular în capitală petrecându-și cea mai mare parte a timpului la petreceri, la dans și la jocuri de noroc. Alexandru al III-lea l-a calificat "idiot".