。奥加尔科夫深得国防部长乌斯季诺夫的赏识和重用，1977年1月被提拔为苏联国防部第一副部长兼苏军总参谋部总参谋长。1977年1月14日，晋升苏联元帅。1979年，他反对出兵阿富汗，为此与乌斯季诺夫进行了激烈辩论。1983年9月和12月，奥加尔科夫先后就海马岛大韩航空007号班机空难和苏美核谈问题举行记者招待会，以苏军最高发言人身份阐述苏联的政策和立场。奥加尔科夫不断上升的地位使他同老上司乌斯季诺夫及其他高官间的矛盾加深，从而失去了庇护伞。他在契尔年科就任总书记后的1984年9月被解职，调任西部战区总司令。