La desconfiança d'Olbricht cap als nazis es va afermar primerencament, sobretot a partir del Putsch de Munic de 1923, quan es va alinear amb Hans Oster, Erwin von Witzleben i Georg Thomas, qui es van distanciar del puixant moviment nacional-socialista, preocupats per l'atractiu que els nazis tenien per a molts militars.