KGB działało początkowo na prawach „ministerstwa”, podlegając bezpośrednio premierowi. Pierwszym przewodniczącym KGB został generał Iwan Sierow. Stał on na czele komitetu przez cztery lata, od 1954 do 1958. Wcześniej Sierow był zastępcą dowódcy i dowódcą GRU. Po II wojnie światowej został wysłany do Polski jako główny doradca radziecki przy Ministerstwie Bezpieczeństwa Publicznego. Osobiście, jako gen. "Iwanow", przeprowadził w 1945 aresztowanie "16 przywódców Polski Podziemnej", postawionych następnie przed sądem w Moskwie. Po objęciu stanowiska przewodniczącego KGB poinformował Nikitę Chruszczowa o istnieniu "archiwum Ławrientija Berii", w którym znajdowały się materiały kompromitujące Chruszczowa i najwyższych dostojników partyjnych. Sierow odszedł z KGB w 1958, by ponownie zostać dowódcą wywiadu wojskowego GRU.