第一书记瓦西里·姆扎瓦纳泽因贪污事件辞职，谢瓦尔德纳泽成为他的继任者，他继续严格打击贪污和意见相左的人。1977年全苏联打击人权主义者的过程中，他的政府以进行反动活动的罪名关押了一批知名的格鲁吉亚反对派人士，其中包括后来格鲁吉亚的第一任民选总统兹维亚德·加姆萨胡尔季阿。谢瓦尔德纳泽对贪污的严厉打击很快就受到了苏联高级领导人的注意。1976年他当选苏联共产党中央委员，1978年他成为中央政治局候补委员。此后的时间里他在政治斗争中的立场比较模煳，但为自己树立了清廉的名声，比如他上班路上使用公共交通，而不使用