עם פרוץ המלחמה היה פון תומה מפקד רגימנט הפאנצר ה-3, ולחם עמו במהלך המערכה בפולין כחלק מחטיבת הפאנצר ה-2 במסגרת דיוויזיית הפאנצר ה-2, וב-5 במרץ 1940 מונה לקצין מטה בOKH. ב-1 באוגוסט 1940 הועלה פון תומה לדרגת גנרל מיור, וביוני 1941 מונה פון תומה למפקד דיוויזיית הפאנצר ה-6, עימה לחם במהלך מבצע ברברוסה כחלק מהקורפוס הממונע ה-41 במסגרת ארמיית הפאנצר הרביעית. ב-21 ביולי 1941 מונה פון תומה במקביל למפקד דיוויזיית הפאנצר ה-17, שהייתה חלק מהקורפוס הממונע ה-46 ולאחר מכן חלק מהקורפוס הממונע ה-47 במסגרת ארמיית הפאנצר השנייה, והשתתף עימה בכיתור הגדול בקייב. ב-14 באוקטובר 1941 מונה פון תומה למפקד דיוויזיית הפאנצר ה-20, ולחם עימה במהלך הקרב על מוסקבה כחלק מהקורפוס הממונע ה-57 במסגרת ארמיית הפאנצר הרביעית ולאחר מכן במסגרת הארמייה הרביעית, וב-31 בדצמבר 1941 קיבל על פעולותיו את עיטור צלב האבירים של צלב הברזל. בינואר 1942 הועברה הדיוויזיה תחת פיקוד הקורפוס ה-9, שהיה חלק מארמיית הפאנצר הרביעית, ובפברואר הועברה תחת פיקוד הקורפוס ה-20, שהיה אף הוא חלק מארמיית הפאנצר הרביעית, ובמרץ הועברה הדיוויזיה יחד עם הקורפוס ה-20 לארמיית הפאנצר השלישית. ב-1 באוגוסט 1942 הועלה פון תומה לדרגת גנרל לוטננט, וב-1 בספטמבר 1942 מונה למפקד קורפוס אפריקה.