Gratschow trat 1965 in die Sowjetarmee ein, absolvierte die Offiziershochschule der Luftlandetruppen in Rjasan und die Militärakademie „M.W. Frunse“ in Moskau, von der er 1981 abging. 1982 bis 1983 kommandierte er im Krieg in Afghanistan ein Fallschirmjägerregiment und 1985 bis 1988 die 103. Garde-Luftlande-Division. Er besuchte dann die Akademie des Generalstabs, die er 1990 absolvierte. Gratschow hatte zuletzt den Rang eines Armeegenerals und trug seit 1988 den Titel Held der Sowjetunion. Am 7. April 1992 wurde er Erster Stellvertretender Verteidigungsminister und bereits am 21. Mai 1992 Verteidigungsminister. Gratschow wurde bekannt, weil in seiner Amtszeit der erste Tschetschenienkrieg begonnen wurde. Die inkompetente Durchführung dieses Unternehmens suchte Gratschow unter anderem mit martialischen Parolen zu bemänteln. Außerdem war er in schwere Korruptionsskandale verwickelt.