Fra 1939 arbeidet Gisevius sammen med Ludwig Beck, Hans Oster og Helmuth Groscurth for å styrte det nazistiske styre. Heri bestod det en forskjell mellom dem og den nye generalstabssjefen for hæren, Franz Halder, som den gang bare hadde som mål å forhindre en storkrig.