Године 1957, вратио се у Москву и постао министар спољних послова Совјетског Савеза. Играо је важну улогу у преговорима између Никите Хрушчова и Џона Кенедија у решавању Кубанске ракетне кризе 1962. године. Био је заслужан за постизање Споразума о делимичној забрани вршења атомских експеримената 1963. године и потписивање мировног споразума између Пакистана и Индије, чиме је био завршен Индијско-пакистански рат 1965. године. Наредних година је био заслужан и за остале споразуме који су ограничавали наоружање суперсила, попут АБМ-а, САЛТ-а -{I}- и Споразума о спречавању нуклеарног рата из 1973. године. Године 1973, Громико је постао члан Политбироа ЦК КПСС.