גרסימוב התגייס לכוחות המזוינים של הפדרציה הרוסית ועשה את עיקר שירותו בחיל השריון, בו שירת כמפקד מחלקת טנקים, מפקד פלוגה ומפקד גדוד וחטיבה. בשנים 1993–1995 פיקד על דיוויזיית החי"ר הממונע ה-144, לאחר מכן השתלם באקדמיה לפיקוד בכיר של הצבא. בתפקידו הבא פיקד על הארמייה ה-58 במהלך מלחמת צ'צ'ניה השנייה. בשנת 2006 מונה למפקד המחוז הצבאי סנקט פטרבורג וב-2009 למפקד המחוז הצבאי מוסקבה. ב-2010 מונה במקביל גם לתפקיד סגן ראש המטה הכללי הרוסי. בשנת 2012 מונה למפקד המחוז הצבאי המרכזי ובהמשך באותה שנה מונה לראש המטה הכללי הרוסי.