El 1 de marzo de 1940, Ludwiger fue seleccionado como comandante del 83º Regimiento de Infantería de la 28ª División de Infantería, que tomó parte en la invasión de Francia. Tras la operación Barbarroja, recibió la Cruz de Caballero de la Cruz de Hierro el 15 de julio de 1941, y fue promovido a coronel el 1 de septiembre de 1941. Debido a las graves pérdidas de su regimiento (y la división en global) sufridas en la batalla de Moscú, la 28ª División de Infantería fue trasladada a la Francia ocupada para recomponerse como división Jäger el 1 de diciembre. La 28ª Jäger División fue enviada de nuevo al frente en el sur de Ucrania, donde participó en la batalla de la península de Kerch en Crimea en el estrecho de Kerch. Durante la ceremonia de condecoración, conoció a su futuro superior, Hubert Lanz, y su futuro subordinado Harald von Hirschfeld.