Han trakk seg fra stillingen som førstesekretær den 28. september 1972, og han ble deretter erstattet av den ambisiøse innenriksministeren, Eduard Sevardnadze. Kort tid etter at Sjevardnadse overtok ledelsen i Georgia, gikk han aktivt til verks for å rydde opp i republikkens problemer. Sjevardnadse sparket 40 000 statlige parti- og statstjenestemenn, og arresterte 30 000 andre. Den 18. desember 1972 ble Mzjavanadze sparket fra hans stilling i Politbyrået og han trakk seg tilbake til Georgia i vanære. Han døde i september 1988, da han var 86 år gammel.