Dall'inverno del 1941 curò la stesura dell'Operazione Valchiria, piano militare a cui ricorrere, almeno apparentemente, in caso di rivolte intestine, ma che, in realtà, costituì l'ossatura del fallimentare colpo di stato. In collaborazione con i circoli di opposizione, orbitanti attorno alla figura del colonnello-generale Ludwig Beck, dell'ex borgomastro di Lipsia Carl Friedrich Goerdeler e del maggior generale Henning von Tresckow, organizzò attentati alla vita di Adolf Hitler, al fine di deporre il regime nazista. Nel 1943, ordinò il trasferimento del colonnello Claus Schenk von Stauffenberg presso il suo ufficio all'Alto comando. Costui sarebbe diventato la figura chiave del complotto ed ebbe l'incarico di piazzare una bomba direttamente nella Tana del Lupo.