Med 56. artilleriregiment deltok han i invasjonen av Polen i 1939. Den 10. april 1940 ble Weidling artillerisjef ved XL. Panzerkorps og tjenestegjorde med panserkorpset i både slaget om Frankrike i 1940, og i operasjon Barbarossa, den tyske invasjonen av Sovjetunionen i 1941. Den 1. januar 1942 fikk han kommandoen over 86. infanteridivisjonen, ble forfremmet til generalmajor den 1. februar 1942 og til generalløytnant den 1. januar 1943. Den 15. januar 1943 ble han tildelt Ridderkorset av Jernkorset.