第二次世界大戦勃発後の1940年3月に少将へ昇進。フランスの戦い直前にの師団長に就いた。第29機械化歩兵師団はフランス侵攻やベルギー侵攻で成功をおさめたため、フォン・ランゲルマンは8月15日に騎士鉄十字章を受けた。