Fra 1942 var Bismarck motstander av fortsettelse av andre verdenskrig, og tok kontakt med andre medlemmer av det tyske aristokratiet som arbeidet mot nazi-regimet, blant andre Berlins politisjef, Wolf-Heinrich Graf von Helldorf, oberst Claus Graf von Stauffenberg, og general Friedrich Olbricht med sikte på å starte forhandlinger med de vestlige Allierte. Han deltok i forberedelsene til 20. juli-attentatet om å drepe Adolf Hitler, men var ikke direkte involvert i selve attentatet.