Gromyko föddes i nuvarande Vitryssland där hans föräldrar var jordbrukare. Han anställdes vid sovjetiska utrikesministeriet 1939 och var ambassadör i Washington, D.C. 1943–1946. Under andra världskriget deltog Gromyko i konferenserna i Teheran, Jalta och Potsdam. Han var FN-ambassadör 1946–1949 och utövade under denna tid Sovjetunionens veto 26 gånger i Säkerhetsrådet, vilket gav honom namnet "Mr Njet". Därefter var han vice utrikesminister 1949–1952 och 1953–1957 samt ambassadör i London 1952–1953. Han var utrikesminister åren 1957–1985 och var därmed en central aktör under Kubakrisen 1962 och under nedrustningsförhandlingarna på 1970-talet, till exempel ABM-avtalet, SALT I och II. Från 1973 var han medlem av politbyrån.