In der Saison 1940/41 konnte er für Waldhof noch neun Gauligaspiele bestreiten, danach schlugen die Umstände des Krieges aber auch bei Ludwig Siffling massiv durch. Mit der 132. Infanterie-Division, als Angehöriger einer Fernmeldeeinheit, hatte es ihn auf die Krim, um die Kämpfe um Leningrad und anschließend nach Kurland verschlagen. Bei Rückzugsgefechten in Litauen wurde er verwundet und konnte mit einem der letzten Schiffe aus Ostpreußen flüchten.