Po napaści Niemiec na ZSRR, od sierpnia 1941 służył na stanowiskach szefa sztabu Frontu Południowego, Północno-Kaukaskiego, Zakaukaskiego i Czarnomorskiej Grupy Wojsk. Od grudnia 1942 był I zastępcą szefa Sztabu Generalnego, a od lutego 1945 szefem Sztabu Generalnego Armii Czerwonej. Uczestniczył w konferencjach w Jałcie i Poczdamie. W latach 1948–1954 był I zastępcą i dowódcą Zakaukaskiego Okręgu Wojskowego. Od kwietnia 1954 I był zastępcą szefa Sztabu Generalnego, a od maja 1955 szefem sztabu Zjednoczonych Sił Zbrojnych Państw Stron Układu Warszawskiego, jednocześnie od 26 maja 1955 do 24 maja 1958 był sekretarzem generalnym Układu.