Utenlands og under den kalde krigen hadde KGB suksess med sitt første hoveddirektorat (FHD). Så å si alle sovjetiske ambassader hadde en avdeling med KGB folk som var tilknyttet residenturet. Lederen ble kalt resident og opptil 50-70 % av ambassadens ansatte hvar tilknyttet KGB. I mellomkrigstiden klarte KGB å verve mange spioner da særlig i Storbritannia, da Sovjet så Storbritannia som den ledende verdensmakt. De mest betydningsfulle spioner som ble vervet var studenter i universitetsmiljøer som Cambridge. I 1930-årene ble det vervet flere, og en spionring ble kalt for the magnificent 5 som etter hvert ble en del av maktens menn i regjeringsorganer og sikkerhetstjenester i Storbritannia. Den mest kjente av disse er Kim Philby som til slutt hoppet av i 1962 og kom seg til Moskva. I løpet av sin karriere i sikkerhetstjenesten i Storbritannia ble han av mange av sine kollegaer sett på som en av de dyktigste, og mange mente at han var et klart valg til å bli generaldirektør for Mi6 (SIS). Under hans tid som spion anga Philby mange av hans kollegaer og overga en enorm mengde med hemmelige opplysninger til sine kontaktoffiserer fra KGB i London. Under 2. verdenskrig var Anatolij Gorski hans kontakt i London. Hans dekke i den Sovjetiske ambassade i London var ambassaderåd. I løpet av den kalde krigen, spilte KGB en kritisk rolle i opprettholdelsen av den sovjetiske ettpartistaten gjennom sin undertrykkelse av politiske dissidenter og trakasseringen av kjente systemkritikere som Aleksandr Solzjenitsyn og Andrei Sakharov. Organisasjonen oppnådde også suksesser i sitt utenlandske etterretningsarbeid, med spionasje for å sikre Sovjetunionen informasjon om vestlig vitenskap og teknologi. Et eksempel er den tekniske informasjonen om Concorde-flyet, som Sovjet brukte for å bygge sitt Tupolev Tu-155. KGB hadde agenter som Melita Norwood og klarte også å infiltrere Willy Brandts regjering sammen med det østtyske Stasi. Imidlertid, organisasjonen støtte etterhvert på flere vansker. For eksempel var det et prestisjenederlag da Elizabeth Bentley i USA og Oleg Gordievsky i Storbritannia hoppet av. Dessuten ble det vanskeligere og vanskeligere å rekruttere vestlige agenter på ideologisk grunnlag, særlig etter opprøret i Ungarn i 1956 og den sovjetiske invasjonen av Tsjekkoslovakia i 1968. Dette førte til en svekkelse av KGBs styrke. KGB hadde imidlertid vestlige agenter som CIA-agenten Aldrich Ames, FBI-mannen Robert Hanssen og den norske politikeren og embetsmannen Arne Treholt.