Lokakuussa 1943 Gretško nimitettiin Voronežin rintaman apulaiskomentajaksi, ja hän auttoi Kiovan takaisinvaltauksessa. Joulukuusta 1943 aina sodan loppuun hän komensi 1. kaartinarmeijaa, joka eteni Ukrainasta Tšekkoslovakiaan. Sodan päätyttyä vuonna 1945 hänet nimitettiin Kiovan sotilaspiirin komentajaksi. Gretško oli vuosina 1953–1957 Itä-Saksaan sijoitettujen Neuvostoliiton miehitysjoukkojen komentaja, ja hän oli vastuussa vuoden 1953 Itä-Berliinin kansannousun tukahduttamisesta. Hän sai vuonna 1955 Neuvostoliiton marsalkan arvon. Marraskuussa 1957 hänet nimitettiin Neuvostoliiton apulaispuolustusministeriksi ja samalla maajoukkojen ylipäälliköksi. Vuodesta 1960 hän oli kaikkien Varsovan liiton joukkojen yhteinen ylipäällikkö. Hänet valittiin vuonna 1952 NKP:n keskuskomitean ehdokasjäseneksi ja vuonna 1961 täysjäseneksi.