Gromiko ocupà aquest càrrec durant vint-i-vuit anys, successivament confirmat pels primers mandataris Nikita Khrusxov, Leonid Bréjnev, Iuri Andrópov i Konstantín Txernenko. Durant aquest llarg període, en el que feu viu el malnom de “Mister Niet” (Senyor No) que s'havia guanyat quan era ambaixador a les Nacions Unides, fou un dels protagonistes de la política internacional durant la Guerra Freda, amb intervencions determinants en la Crisi dels míssils de Cuba (1962) i en el Tractat de Limitació d'Armament Nuclear (1963), el Tractat de Míssils Anti-Balístics (1972), els Acords SALT I (1972) i II (1979) i tots els pactes de no-agressió amb la República Federal Alemanya. El 1963 s'havia entrevistat amb el papa Pau VI, trobada de la qual es derivà una major tolerància a la pràctica religiosa en territori soviètic. Des de 1983 a 1985 també ocupà el càrrec de vicepresident del Consell de Ministres de l'URSS.