Gromyko valmistui Moskovan kansantaloudellisesta instituutista. Tämän jälkeen hän työskenteli ulkoasiainkansankomissariaatin palveluksessa. Gromyko meni ulkoministeriöön Stalinin puhdistusten jälkeen vuonna 1939. Hänet lähetettiin pian Yhdysvaltoihin, missä hän työskenteli Neuvostoliiton lähetystössä vuoteen 1943 asti, jolloin hänet nimitettiin Neuvostoliiton suurlähettilääksi Yhdysvaltoihin. Gromykolla oli tärkeä tehtävä suunniteltaessa sodanaikaista yhteistyötä Neuvostoliiton ja Yhdysvaltain välillä, ja hän järjesti maiden tapaamista Jaltan konferenssissa vuonna 1943. Hänet tunnettiin tiukkana neuvottelijana. Lännessä hän sai kutsumanimet "Mr. Njet" (”herra ei”) tai toveri Njet, mikä kuvasi hänen neuvottelutyyliään.