V letech 1988 až 1991 byl Krjučkov sedmým předsedou KGB. Během srpnového puče v roce 1991 byl iniciátorem vytvoření Státního výboru pro mimořádný stav, který zatkl prezidenta Michaila Gorbačova. Po porážce puče byl Krjučkov uvězněn, v roce 1994 ho však Státní duma v amnestii osvobodila. Krjučkova v čele KGB nahradil Leonid Šebaršin.