Gretško nimitettiin puolustusministeriksi Rodion Malinovskin kuoltua huhtikuussa 1967 ja hän jatkoi tehtävässä omaan kuolemaansa saakka. Hän edusti liennytyksen vuosina Neuvostoliiton johdossa tiukkaa linjaa, sillä hänen ministerikaudellaan maan asevoimia kasvatettiin jatkuvasti ja niiden taistelukykyä pyrittiin lisäämään. Muun muassa mannertenvälisiä ohjuksia, ydinsukellusveneitä, pommikoneita ja sotalaivoja hankittiin miljardien arvosta. Gretško kannatti julkisesti ydinaseiden käyttöä mahdollisessa sodassa länsivaltoja vastaan. Hän laati myös vuoden 1968 Tšekkoslovakian miehitysoperaation suunnitelman. Vuodesta 1973 Gretško oli NKP:n politbyroon täysjäsen. Hän sai Neuvostoliiton sankarin arvonimen kahdesti (1958 ja 1973) ja Leninin kunniamerkin kuudesti. Gretško kuoli äkisti huhtikuussa 1976, erään tiedon mukaan sydänkohtaukseen. Hänen tuhkansa haudattiin Kremlin muuriin. Hänen seuraajakseen puolustusministerinä tuli Dmitri Ustinov.