Zatímco civilní úsilí mělo dopad na veřejné mínění, jedinou organizací schopnou svrhnout vládu byla armáda. Hlavní spiknutí mužů v horních vrstvách armády vzniklo v roce 1938. Věřili, že Británie půjde do války kvůli Hitlerově plánované invazi do Československa a Německo prohraje. V plánu bylo svrhnout Hitlera nebo ho snad i zavraždit. Mezi účastníky byli generálplukovník Ludwig Beck, generálplukovník Walther von Brauchitsch, generálplukovník Franz Halder, admirál Wilhelm Canaris a generálporučík Erwin von Witzleben, kteří se připojili ke spiknutí v čele s podplukovníkem Hansem Osterem a majorem Helmuthem Groscurthem z Abwehru. Plánovaný převrat byl zrušen po podpisu Mnichovské dohody v září 1938. Mnoho stejných lidí bylo zapojeno do puče plánovaného na rok 1940, ale účastníci opět změnili názor a ustoupili, částečně kvůli popularitě režimu po počátečních vítězstvích ve válce. Pokusy o atentát na Hitlera byly znovu zahájeny v roce 1943, kdy se Henning von Tresckow připojil k Osterově skupině a pokusil se vyhodit do vzduchu Hitlerovo letadlo v roce 1943. Následovalo několik dalších pokusů před neúspěšnou zápletkou z 20. července 1944, což bylo alespoň částečně motivováno rostoucí vyhlídkou na německou porážku ve válce. Na spiknutí, které bylo součástí operace Valkýra, se podílel Claus von Stauffenberg, který umístil bombu do konferenční místnosti ve Vlčím doupěti v Rastenburgu. Hitler, který těsně přežil, později nařídil divoké odvety, které vedly k popravě více než 4 900 lidí.