Ab 1989/90 vertrat er zunehmend eine konservative politische Haltung bei dem Reformprozess in der Sowjetunion. Er war deshalb als Angehöriger des Staatskomitees für den Ausnahmezustand vom 19. bis 22. August 1991 Mitinitiator des erfolglosen Augustputsches gegen Gorbatschow. Krjutschkow wurde daraufhin am 22. August durch Leonid Wladimirowitsch Schebarschin als KGB-Vorsitzender ersetzt. Krjutschkow wurde wegen seiner Beteiligung am Putsch zu einer Haftstrafe verurteilt, jedoch später amnestiert.