Under augustkuppet i 1991 var han en av åtte som ledet Statskomiteen for unntakstilstanden, GKTsjP, i et forsøk på å kuppe ledelsen i Sovjetunionen fra Mikhail Gorbatsjov, som GKTsjP mente gjorde skade mot Sovjetunionen med reformene sine. Etter at kuppforsøket feilet ble han avskjediget fra kommunistpartiet og arrestert, og hans posisjon som KGB-sjef ble byttet ut med Vadim Bakatin.