Im Oktober 1935 wurde Stumpff Kommandeur des neu aufgestellten Schützen-Regiments 3 in Altengrabow, später Eberswalde; organisatorisch der 3. Panzer-Division und taktisch der 3. Schützen-Brigade unterstellt; und später gleichzeitig mit der Führung der 3. Schützen-Brigade beauftragt. Er wurde ab 1938 als Nachfolger von Generalleutnant Leo Geyr von Schweppenburg Kommandeur der 3. Panzer-Brigade. Anschließend war Stumpff nach dem Beginn des Zweiten Weltkriegs von Oktober 1939 bis November 1940 unterbrochen von zwei Monaten in Vertretung durch Generalmajor Friedrich Kühn Kommandeur der 3. Panzer-Division. Im November 1940 wurde er Kommandeur der neu aufgestellten 20. Panzer-Division, Anfang Februar 1941 zum Generalleutnant befördert und blieb dies bis Mitte September 1941. Mit der Division war er in die Kesselschlacht bei Białystok und Minsk und die Kesselschlacht bei Smolensk eingebunden. Die Bedingungen an der Ostfront führten dazu, dass sich sein Gesundheitszustand verschlechterte, er sein Kommando abgeben musste und er von der Front zurück befohlen wurde. Am 29. September 1941 wurde ihm das Ritterkreuz des Eisernen Kreuzes verliehen.