Etter nederlagene på østfronten, særlig etter slaget om Stalingrad, ble det erkjent at det trengtes en ny ledelse av etterretningsarbeidet, og selv om Gehlen verken hadde slik bakgrunn, uten kjennskap til fremmedspråk eller særlige kunnskaper om Sovjetunionen, ble han utnevnt til oberstløytnant og leder av (som drev militæretterretning mot Sovjetunionen), og erstattet Eberhard Kinzel som leder av avdelingen. I en tidlig fase hadde han også ansvar for arbeidet rettet mot Skandinavia og Sør-Europa.