Tegen het einde van de jaren tachtig liepen al eerder ontstane tegenstellingen tussen Gorbatsjov en Sjevardnadze echter zo hoog op, dat die laatste in 1990 geen andere mogelijkheid zag dan af te treden. In zijn beroemde afscheidsrede maakte Sjevardnadze zijn bezorgdheid over sommige van Gorbatsjovs besluiten kenbaar, en waarschuwde hij voor dreigende dictatuur. Na een mislukte coup door conservatieven in de zomer van 1991 keerde hij eind dat jaar terug in zijn functie. Een maand later, met de formele ontbinding van de Sovjet-Unie, trad hij echter weer af.