倒性胜利对他触动极大。巴巴罗萨行动，德国进攻苏联，1941年开始，对俄国人、乌克兰人、犹太人和其他民族的大规模处决，以及德国军队越来越明显的缺陷，最终使史陶芬贝格在1942年决定加入国防军内的反抗组织。这是唯一有机会推翻希特勒的盖世太保、安全警察、党卫队的力量。在法国战役前的所谓假战的几个月，他已经被调入到负责东线作战的国防陆军总司令部（Oberkommando des Heeres）的组织部门。他反对政委法令（Commissar Order，希特勒颁布它，一年后又废除。）他试图软化德军对苏联占领区的占