抗日战争爆发，晋绥军骑兵由三个旅整编为两个师，骑二旅编余，吕汝骥改任骑兵司令部副总指挥，绥远抗战中曾指挥所部击退日军多次进攻。1939年，阎锡山发动了十二月事变，大肆屠杀共产党人。吕汝骥与阎锡山产生不和。1940年6月，傅作义扩建出国军暂编第4军，军长董其武，唐俊德、吕汝骥担任副军长，隶属第八战区绥西指挥部；期间率部参加包头战役、绥西战役、五原战役等。1945年，国军暂编第4军改为国军骑兵第4军，军长袁庆荣，吕汝骥担任副军长，同年八月被裁撤。此时，中华民国军事委员会任命吕汝骥为军事委员会高级参谋，调往宁