Terminada la guerra en España, recibió la Cruz española y la Medalla Militar e, inmediatamente, Von Thoma participó en la invasión de Polonia por la Alemania Nazi en septiembre de 1939, donde desarrolló una brillante campaña en la 2ª División Panzer. En julio de 1941 fue trasladado a la 17ª División Panzer con el rango de general, unidad con la que intervino en la invasión de la Unión Soviética y sustituyó a Jürgen von Arnim como comandante de la División. A las órdenes de Heinz Guderian tuvo una importante y decisiva participación en la toma de Kiev y Smolensko, siendo condecorado con la Cruz de Hierro.