Il 1º settembre 1939 ebbe inizio la seconda guerra mondiale e Stumme partecipò all'invasione della Polonia alla testa della 2. Leichte-Division (divisione leggera), divenuta in seguito la 7. Panzer-Division. Nel 1940 fu decorato con la prestigiosa Croce di Cavaliere ma lo stesso anno il comando della divisione corazzata passo al generale Erwin Rommel e Stumme, sebbene fosse stato promosso a "General der Kavallerie" il 1º giugno, non partecipò alla vittoriosa campagna di Francia. Nel 1941 Stumme venne ulteriormente nominato generale e assunse il comando del XXXX Panzerkorps, con il quale ebbe parte attiva nelle campagne militari in Grecia e in Jugoslavia.. In particolare diresse con abilità l'avanzata dei suoi panzer nell'aspro territorio greco, sconfiggendo una brigata corazzata britannica nella battaglia di Ptolemais e aprendosi la strada verso Atene.