Da Mikhail Gorbatsjov kom til makta i Sovjetunionen i 1985, hadde han en plan om å fornye byråkratiet, deriblant også de mest konservative medlemmene av Politbyrået. Nikolaj Ryzjkov erstattet da Tikhonov, som da var eldste medlem av Sovjetunionens lederskap, som statsminister. Fram til 1989 var han likevel med i ledelsen i landet, men da mistet han plassen i sentralkomiteen. Resten av livet bodde han i stillhet på sin datsja.