939年开始在外交部工作，不久被派往苏联驻美国大使馆，1943年经委任为苏联驻美大使。1946年他成为苏联在联合国安全理事会的代表，期间因多次在联合国安理会代表苏联投下否决票而被称为“否决先生”（Mr. Нет），1952年至1953年间曾短暂出任苏联驻英国大使，之后返国出任外交部长。葛罗米柯任外长期间曾处理古巴导弹危机，并为此与美国总统约翰·肯尼迪谈判。他也曾参与部分限武条约的谈判，包括《反弹道导弹条约》、《部分禁止核试验条约》、战略武器限制谈判、《中程核力量条约》、《削减战略武器条约》等。在勃列日涅