1992年5月にロシア連邦国防省が設置されたことに伴い、初代国防大臣に就任する。国防相としては、エリツィンの意に諾々と従うケースが多く、1993年モスクワ騒乱事件ではエリツィンの命令に従って最高会議ビルを砲撃させた。また、1994年の第一次チェチェン戦争ではチェチェン武装勢力を軽視し、鎧袖一触だと言わんばかりの態度であったが逆に政府軍に大損害を与え、現在に至るチェチェン問題を招く結果となった。戦局のまずさに加え、兵器の横流しに手を染めていたという汚職疑惑もあり、政敵であったアレクサンドル・レベジがロシア連邦安全保障会議書記に就任し、エリツィンにグラチョフの解任を要求したため、1996年6月国防相を解任された。後任の国防相には、レベジ派のロジオノフが就任した。1998年国営兵器・装備輸出会社（ロスヴォオルジェーニエ）の最高軍事顧問に就任した。