Il rejoint l'année suivante la résistance au nazisme, et travaillera en étroite collaboration avec Wilhelm Leuschner et . Suspecté de trahison, il passe quelques mois dans une prison de la "Gestapo" en 1938 mais continue à œuvrer contre le Troisième Reich, collaborant notamment avec Carl Friedrich Goerdeler. À la suite de l'attentat manqué contre Hitler du , il parvient à échapper à la vague d'arrestations en se cachant dans les sous-sols du quartier de Babelsberg, à Potsdam. Toutefois, son épouse, sa fille aînée, ainsi que ses beaux-frères et belles-sœurs ont été placés en garde à vue.