1991년 소비에트 연방이 붕괴된 직후, 소련 국방부는 러시아 국방부로 승계되었다. 소련이 무너진 이후 처음으로 러시아 국방부 장관이 된 사람은 파벨 그라쵸프 장군이었다. 그라쵸프는 8월 쿠데타 당시 쿠데타를 일으킨 공산당 보수파에 대항해 자신의 전차 대대를 이끌고 모스크바의 러시아 공화국 소비에트 건물을 방어했으며, 이 공로로 1992년 5월 국방장관에 임명되었다. 그라쵸프는 1993년 10월 위기에서도 옐친을 지지, 옐친을 탄핵한 소비에트를 무력으로 진압했다. 옐친은 이 공로로 그라쵸프가 1차 체첸전쟁 당시 보인 무능과 부패 스캔들에도 불구하고 그를 국방장관으로 계속 기용했다.