Etter Stalins død ble sikkerhetstjenesten omorganisert, og KGB ble opprettet i 1954. Organisasjonen vokste seg etterhvert svært stor, og på 1980-tallet hadde KGB over hundre tusen ansatte i inn- og utland, i tillegg til et stort antall informanter. KGB var inndelt i forskjellige direktorater, blant de viktigste var det tredje og det femte. Tredje hoveddirektorat var ansvarlig for å overvåke og indoktrinere de væpnede styrker, og hadde offiserer i alle militære avdelinger ned på kompaninivå. Det femte hoveddirektorat hadde som oppgave å overvåke sovjetiske borgere. Dette innebar også ting som å knuse ulovlige organisasjoner, infiltrere kirken, hindre kontakt mellom sovjetere og utenlandske statsborgere og bekjempelse av ulovlig utgitt litteratur. Andre viktige avdelinger i KGB var første hoveddirektorat, med ansvar for hemmelige operasjoner i utlandet slik som industrispionasje, og åttende direktorat, som drev overvåkning i utlandet. Mesteparten av den militære overvåkningen ble imidlertid utført av den militære etterretningstjenesten GRU.