コンスタンティン・チェルネンコ
1975年以降はブレジネフの指導力が低下するに連れて、KGB議長のユーリ・アンドロポフ、国防相のドミトリー・ウスチノフと共にトロイカを形成し、ソ連の政策決定に大きな役割を果たすようになる。1982年11月10日にブレジネフが亡くなった後、アンドロポフが後任の書記長に選出された。その直後アンドロポフは、グロムイコにブレジネフが生前兼ねていた憲法上の国家元首ポストである最高会議幹部会議長への就任を打診した。しかし、このときはグロムイコはそれを固辞した。替わりに1983年からは（第一副首相）を兼任した。その後1984年2月のアンドロポフ、1985年3月のコンスタンティン・チェルネンコと書記長の死によって短命な政権が2期続いたことを受け、後継の書記長の選出に当たってはゴルバチョフを強く推した。推薦演説に当たっては、ゴルバチョフを「この人物は若いが、鉄の歯を持っている」と評した。