Han var deretter Sovjetunionens utenriksminister, og forble det i 28 år. Han ble direkte involvert i Cubakrisen og møtte USAs president John F. Kennedy under krisen. Gromyko hjalp også til med nedrustningsavtaler som ABM-avtalen, SALT-avtalene, INF-avtalen og Start-avtalene. I Bresjnevs regjeringstid deltok han i avspenningspolitikken mellom supermaktene USA og Sovjetunionen, og var aktiv i arbeidet med ikke-angrepspakten mellom Tyskland og Sovjetunionen.