977年全苏联打击人权主义者的过程中，他的政府以进行反动活动的罪名关押了一批知名的格鲁吉亚反对派人士，其中包括后来格鲁吉亚的第一任民选总统兹维亚德·加姆萨胡尔季阿。谢瓦尔德纳泽对贪污的严厉打击很快就受到了苏联高级领导人的注意。1976年他当选苏联共产党中央委员，1978年他成为中央政治局候补委员。此后的时间里他在政治斗争中的立场比较模煳，但为自己树立了清廉的名声，比如他上班路上使用公共交通，而不使用政治局委员可以使用的轿车。1985年原苏联外长安德烈·安德烈耶维奇·葛罗米柯退休，新任总书记戈尔巴乔夫任命