59年毕业于总参谋部军事学院，任驻德集群近卫摩托化步兵第20师师长。1961年12月，任白俄罗斯军区参谋长兼副司令。1965年12月，任伏尔加河沿岸军区司令。1968年4月，任苏联武装力量总参谋部第一副总参谋长。1974年3月至1977年1月，任苏联国防部副部长兼国家技术委员会主席。奥加尔科夫深得国防部长乌斯季诺夫的赏识和重用，1977年1月被提拔为苏联国防部第一副部长兼苏军总参谋部总参谋长。1977年1月14日，晋升苏联元帅。1979年，他反对出兵阿富汗，为此与乌斯季诺夫进行了激烈辩论。1983年9月