עם פרוץ מלחמת העולם השנייה היה שטמפל מפקד רגימנט הרגלים ה-10, אשר היה חלק מהדיוויזיה ה-4, ולחם עמו כחלק מהקורפוס הממונע ה-15 במסגרת הארמייה העשירית. ב-25 באוקטובר 1939 הוא מונה למפקד רגימנט הרגלים ה-108, אשר היה חלק מהדיוויזיה ה-38, ולחם עמו במהלך המערכה על צרפת. ב-15 באוגוסט 1940 הוא מונה למפקד חטיבת הרובאים ה-14, וב-1 באפריל 1941 הוא הועלה לדרגת גנרל מיור. במהלך מבצע ברברוסה לחם שטמפל עם חטיבתו כחלק מדיוויזיית הפאנצר ה-14 במסגרת ארמיית הפאנצר הראשונה. ב-1 באפריל 1942 הוא מונה למפקד הדיוויזיה ה-371, וב-11 באפריל קיבל על פעולותיו את עיטור הצלב הגרמני בזהב. הדיוויזיה לחמה במתקפת הקיץ הגרמנית, כחלק מהקורפוס ה-4 במסגרת הארמייה ה-17, ולאחר מכן במסגרת ארמיית הפאנצר הרביעית. בהמשך לחמה הדיוויזיה יחד עם הקורפוס ה-4 בקרב סטלינגרד במסגרת הארמייה השישית, וב-1 בדצמבר 1942 הועלה שטמפל לדרגת גנרל לוטננט. ב-26 בינואר 1943 נכנעו שרידי הדיוויזיה לכוחות הצבא האדום, וכעבור זמן קצר התאבד שטמפל.