W listopadzie 1938 roku Weidling został pułkownikiem ("Oberst") i dowódcą 56 pułku artylerii. Ze swoim oddziałem brał udział w kampanii wrześniowej w Polsce w roku 1939. W roku 1940 mianowano go dowódcą artylerii w XL Korpusie Pancernym, z którym uczestniczył w kampanii francuskiej oraz w początkowej fazie operacji Barbarossa. 1 stycznia 1942 roku, wciąż na froncie wschodnim, został dowódcą 86 Dywizji Piechoty. Miesiąc później został awansowany do stopnia generała brygady ("Generalmajor"), natomiast 1 stycznia 1943 awansował do rangi generała dywizji ("Generalleutnant").