I 1985 ble Gromyko erstattet av Eduard Sjevardnadse som utenriksminister. Da var han blitt den sovjetiske utenriksminister som hadde bekledt dette embedet lengst. Gromyko ble medlem av Politbyrået i 1973, og ble formann av Det øverste sovjet - og dermed landets (rent seremonielle) statsoverhode - fra 2. juli 1985 til 1. oktober 1988. Hans konservative innstlling førte til at han da ble fortrengt fra embedet.