任陕西省靖国军中尉排长，河北省陆军十五旅连长，河北第三军二师营长、少校团长。1926年春，任国民联军第三军暂编骑兵第一团团长。同年9月任国民联军（总司令冯玉祥）第四军骑兵第一旅副旅长，率部驻军陕西榆林，参加五原誓师。同年阎锡山联合直系、奉系军阀，在晋北战役中击败冯玉祥的国民联军，并占领山西雁北地区、将晋系势力扩展到绥远。阎锡山在占据绥远后，晋军改为晋绥军，扩编为十七个师，并另收编国民军第三军（徐永昌任军长），并辖两个步兵旅、一个骑兵旅，吕汝骥担任骑兵旅旅长，辖两个团。1929年，蒋桂战争、蒋冯战争相继爆