Ved sin fetter Fabian von Schlabrendorffs formidling ble Gersdorff, som i 1941 var blitt tilordnet armégruppe sentrum (tysk: Heeresgruppe Mitte), medlem av en hemmelig motstandsgruppe rundt general Henning von Tresckow. Den 21. mars 1943 skulle Hitler åpne en utstilling av erobret sovjetisk militærutstyr i ved Berlins paradegate Unter den Linden: Gersdorff hadde planlagt å forøve et selvmordsattentat ved å utløse en mine som han tok med seg under frakken, og ta med seg i døden ikke bare Hitler, men også Göring, Himmler, Keitel og Dönitz. Grunnen til at han mislyktes var at Hitler forlot åstedet etter bare om lag to minutter; tenningstiden på minen var på ti minutter.