Nachdem er zunächst eine Primarschule in Gomel und eine technische Berufsschule in Baryssau besucht hatte, studierte er Ökonomie der Landwirtschaft zunächst in Minsk und später in Moskau. Von 1936 bis 1939 war er Professor am Moskauer Wirtschaftsinstitut. Nach den Stalinschen Säuberungen kam Gromyko 1939 in die Abteilung für Amerika des Außenministeriums. Bald darauf wurde er in die USA entsandt und arbeitete dort an der sowjetischen Botschaft. 1943 wurde er zum Botschafter in den USA ernannt. Im Zweiten Weltkrieg spielte er als engerer Vertrauter von Außenminister Molotow eine wichtige Rolle bei der Koordination der Aktivitäten beider Länder. So nahm er auch an den Konferenzen von Jalta und Potsdam sowie an der Gründung der Vereinten Nationen teil. Er wurde als harter Verhandler bekannt. Im Westen erhielt er in den 1940ern wegen seines unnachgiebigen Verhandlungsstils im Sicherheitsrat der Vereinten Nationen den Spitznamen „Genosse Njet“, im Englischen „Mr. Nyet“ oder „Grim Grom“.