990年7月，接替苏霍鲁科夫担任苏联国防部副部长兼总干部局局长。1991年八一九事件后被解除职务。晚年居住在莫斯科，加入阿富汗战争退伍军人委员会、全俄退伍军人委员会。2008年，任俄罗斯联邦国防部总监察部总监察员。叶尔马科夫是第十一届乌克兰苏维埃社会主义共和国最高苏维埃代表（1984年－1988年），俄罗斯人民代表大会代表（1990年－1993年）。