Po śmierci Józefa Stalina w marcu 1953, spychany był na coraz niższe stanowiska w hierarchii wojskowej. W maju 1954 został mianowany dowódcą Leningradzkiego Okręgu Wojskowego, a następnie w 1957 dowódcą grupy wojsk stacjonujących w Niemieckiej Republice Demokratycznej. W 1959 awansowany na marszałka Związku Radzieckiego i w 1960 mianowany szefem Sztabu Generalnego Armii Radzieckiej. Stracił to stanowisko w 1963, w ramach zmiany w radzieckim kierownictwie polityczno-wojskowym po kubańskim kryzysie rakietowym.