命为国防部长，并卸下战略火箭军司令的职务，同年11月21日被授予元帅军衔，成为俄罗斯联邦首位以及截至目前（2021年）唯一一位元帅。任内在军费短缺的情况下，通过裁军、缩编军种、完善指挥体系等手段，进行了大刀阔斧的军事改革。改革期间，谢尔盖耶夫曾与时任俄军总参谋长爆发争论。在科索沃战争和北约推出“新战略”之后，谢尔盖耶夫公开表示以美国为首的北约将成为俄罗斯的主要对手，并针对北约进行了相应部署。2001年3月28日，谢尔盖耶夫辞去国防部长一职。2006年11月10日，谢尔盖耶夫因血癌逝世，享年68岁。