그로미코는 소련의 가장 중요한 외교관 직위들 중의 하나인 워싱턴 D. C.에 있는 소련 대사관에서 일하기 시작하였다. 1943년 34세의 나이에 그는 주미 대사로 임명되었다. 워싱턴 D. C.에서 근무하는 동안 그는 영어를 유창하게 하는 데 배웠다. 제2차 세계 대전에 소련과 미국은 나치 독일과 일본에 대항하는 연합국이었다. 그로미코는 1945년 얄타 회담과 포츠담 회담에 참석하여 미국의 지도자들과 스탈린의 협상들을 보조하였다. 그해 소련은 유엔의 창립에 가입하였다. 그로미코는 유엔의 아무 정책에 거부권으로 권리와 함께 소련을 유엔 안전 보장 이사회의 회원국으로 만든 유엔 헌장의 서법에 참가하였다. 1946년 그는 안전 보장 이사회로 소련의 영구적 대표가 되었다.