Dès 1933, une résistance politique connue sous le nom d' « Orchestre Noir » se mit en place dans les hautes sphères de l'armée. Cette organisation tenta à plusieurs reprises de prendre le pouvoir ou d'assassiner Hitler. En 1944, pensant la guerre perdue et espérant négocier une paix séparée avec les Alliés anglo-américains, un grand nombre d'officiers supérieurs de la Wehrmacht organisèrent un complot pour tuer Adolf Hitler le . L’opération "Walkyrie" — nom code de l'opération — échoua de peu et la Gestapo procéda sur ordre du Führer à une répression féroce. De nombreux militaires de la Heer en furent victimes, notamment trois "Generalfeldmarschall" (Günther von Kluge, suicidé sur la route de Berlin où il était convoqué, Erwin von Witzleben, pendu, et Erwin Rommel, dont le suicide a été forcé alors qu'il était en convalescence chez lui), et seize généraux dont Friedrich Fromm, Friedrich Olbricht et Carl-Heinrich von Stülpnagel.