BND springer ut av den tidligere såkalte Organisation Gehlen, dannet av tidligere medlemmer fra avdelingen (FHO) i den tyske generalstab under annen verdenskrig, som hadde ansvar for å skaffe opplysninger om landets fiender i øst (dvs. først og fremst i sovjetunionen). Reinhard Gehlen hadde ledet FHO fra 1942. Etter krigen ble han bedt av amerikanerne om å gjenoppbygge etterretningsorganisasjonen. For amerikanere var hans kunnskaper om sovjethæren interessant. Han fikk med seg et stort antall av sine tidligere medarbeidere. På denne måten kunne de få en ny identitet som mange var interessert i. Gehlen ansatte også en del SS-, SD- og Gestapo-offiserer.