Nel giugno 1941 scattò l'Operazione Barbarossa e Stumme dimostrò ancora una volta le sue capacità alla testa del XXXX Panzerkorps, inserito nel Gruppo d'Armate Centro del feldmaresciallo Fedor von Bock: catturò Možajsk il 18 ottobre, fece 30.000 prigionieri durante la battaglia di Velikije Luki e avanzò nella steppa innevata fino a 50 miglia dalla capitale Mosca, ma le proibitive condizioni climatiche e i violenti contrattacchi sovietici lo costrinsero in ultimo a ordinare la ritirata. Nell'estate 1942 avrebbe dovuto, sempre alla guida del XXXX Panzerkorps, prendere parte alla grande Operazione Blu (la seconda offensiva tedesca in territorio sovietico), ma accadde un increscioso imprevisto: l'ufficiale addetto alle operazioni della 23. Panzer-Division, che stava viaggiando in aereo con i piani dettagliati dell'attacco, venne abbattuto il 19 giugno e i preziosi documenti caddero in mano ai sovietici. Stumme venne riconosciuto responsabile e deferito alla corte marziale da un infuriato Adolf Hitler. La corte gli comminò cinque anni di detenzione in una fortezza militare ma in virtù dei suoi ottimi trascorsi di servizio, e dell'intercessione di von Bock, Stumme fu comunque graziato.