Podle svých pamětí byl v roce 1942 osloven plukovníkem Henningem von Tresckow, plukovníkem Clausem von Stauffenberg a generálem Adolfem Heusingerem, aby se zúčastnil se pokusu o atentát na Adolfa Hitlera, kde měl sehrát pouze vedlejší roli. Když spiknutí vyvrcholilo neúspěšným atentátem po výbuchu bomby při poradě nejvyšších důstojníku nacistického Německa dne 20. července 1944, Gehlen se od atentátu naprosto distancoval dříve, než se Adolf Hitler rozhodl pro odvetu proti spiklencům. Při této odvetě proběhla série vražd, poprav a zatýkání.