派胡燏棻到天津马厂编练新军，后移天津小站，共编十个营4700余人，并聘请德军教官，名为「定武军」，这也是所谓小站练兵的序幕。1895年10月，胡燏棻调职，袁世凯接管定武军，改称“新建陆军”，扩充到7000余人，参照德国陆军制度进行编制，并分立警、步、骑、砲、工、辎等兵科。王士珍、段祺瑞、冯国璋、曹锟、张勋、何宗莲等知名将领都曾在此新军中任职，或由此发迹。1898年10月，“新建陆军”改为“武卫右军”，直接受直隶总督兼北洋大臣荣禄节制。当时为「军务督办」，加衔东宫少保（即太子少保）的袁世凯，严于军纪，