КГБ је распуштен због учешћа његовог шефа, генерал-пуковника Владимира Крјучкова, у покушају пуча у августу 1991. године чији је циљ било свргавање Михаила Горбачова и спречвање распада Совјетског Савеза. Он је користио значајне ресурсе КГБ-а да помогне пуч. Криучков је ухапшен, и генерал Вадим Бакатин је постављен за председавајућег 23. августа, 1991, са мандатом да расформира КГБ. 6. новембра 1991, Руски КГБ је званично престао да постоји, мада је организација која га је наследила, "Федерална служба безбедности", или ФСБ функционисала на начин врло сличан КГБ-у.