Громико је у Комесаријату за спољне послове испрва радио у Одељењу за Америке, да би га након шест месеци Јосиф Стаљин одредио за аташеа у Совјетској амбасади у САД. Године 1943, наследио је Максима Литвинова на месту амбасадора Совјетског Савеза у САД. Тих се година упознао са многим познатим личностима попут Чарлија Чаплина и Мерлин Монро. Такође је био совјетски делегат у Техерану, Дамбартон Оуксу, Јалти и у Потсдаму. Године 1943, Совјетски Савез је успоставио дипломатске односе с Кубом, па је Громико исте године постао совјетски амбасадор у Хавани. Године 1945, вратио се у Москву на прославу победе у Великом отаџбинском рату.