La desconfianza de Olbricht hacia los nazis se afianzó tempranamente, sobre todo a partir del Putsch de Múnich de 1923, cuando se alineó con Hans Oster, Erwin von Witzleben y Georg Thomas, quienes se distanciaron del pujante movimiento nacional-socialista, preocupados por el atractivo que los nazis tenían para muchos militares.