15 лютага 1957 года быў прызначаны на пасаду міністра замежных спраў СССР, на якой служыў 28 гадоў — да 2 ліпеня 1985. На час яго службы прыпалі самыя напружаныя часы «Халоднай вайны» — у прыватнасці, Грамыка вёў савецка-амерыканскія перамовы падчас Карыбскае крызісу. Адначасова з 24 сакавіка 1983 па 2 ліпеня 1985 — 1-ы намеснік Старшыні Савета Міністраў СССР.