Korrupsjonen i Georgia var den gang så pass utbredt og synlig at den ble pinlig for de sentrale myndighetene i Moskva. Som landets innenriksminister mellom 1964 og 1972 arbeidet Sjevardnadse hardt for å bekjempe korrupsjonen, deriblant ved å avsette Vasilij Mzjavanadze som generalsekretær i kommunistpartiet. Sjevardnadse overtok deretter selv dette embetet, med velsignelse fra Moskva. I 1972 ble han førstesekretær i Georgias Kommunistparti og dermed sovjetrepublikkens øverste leder. Som republikkens leder var han også ansvarlig for at det ble slått ned på opposisjonelle og nasjonalister.