原广西按察使胡燏棻奉清政府之命，在天津用西法编练十营定武军，分别为步兵三千人、炮兵一千人、马兵二百五十人、和工兵五百人，一共四千七百多人。次年胡燏棻调任平汉铁路督办，袁世凯接手「定武军」，在天津小站训练部队（人称「小站练兵」），改为「新建陆军」，一切依照德国与日本的制度，由德国人为主的洋人监督，更把规模扩至七千士兵，参照德国陆军制度进行编制，并分立警、步、马、砲、工、辎等兵科。之后，被编为武卫军“前后左右中”五路中的武卫右军，跟随袁世凯到山东去镇压义和团运动。在那里，袁世凯将三十四营旧军改编，命名为「武卫右