Gretschko wurde nach Stalins Tod von 1953 bis 1957 Oberkommandierender der Gruppe der Sowjetischen Streitkräfte in Deutschland. Mit seinen Truppen wurde der Aufstand des 17. Juni 1953 niedergeschlagen. 1955 wurde er zum Marschall der Sowjetunion befördert und zugleich zum Ersten Stellvertretenden Verteidigungsminister ernannt. Er löste 1960 Marschall Konew als Oberkommandierender der Warschauer-Pakt-Truppen ab und wurde nach dem Tode von Marschall Malinowski von 1967 bis 1976 Verteidigungsminister der UdSSR. 1968 koordinierte er die Projektarbeiten zum Einmarsch der Truppen des Warschauer Pakts am 21. August 1968 in die ČSSR. Von 1973 bis 1976 war er schließlich Vollmitglied im höchsten politischen Gremium der UdSSR, dem Politbüro der Kommunistischen Partei der Sowjetunion.