Durante un periodo a mediados de los años 1990, Grachov fue un amigo cercano del presidente ruso Borís Yeltsin, y ocupó el cargo de Ministro de Defensa de la Federación Rusa desde mayo de 1992 hasta junio de 1996.