Fra 1953 til 1957 var han øverstkommanderende for Sovjetunionens styrker i Øst-Tyskland. Gretsjko ledet her an i å slå ned folkeoppstanden i 1953. Han var deretter til 1960 øverstkommanderende for Sovjetunionens bakkestyrker. I forbindelse med den såkalte U2-affæren i 1960 gjorde Gretsjko seg bemerket som den som kunngjorde for Det øverste Sovjet at det var Nikita Khrusjtsjov selv som hadde beordret nedskytning av det amerikanske flyet og at det var benyttet et nytt rakettvåpen.