早年他因家贫弃学，入清末淮军将领刘铭传在麻埠镇开的“继勋典铺”为学徒。光绪十年（1884年）赴台湾，投奔驻守台湾的刘铭传，参与抗击法军的战斗。刘部克复基隆后，他升任海军管带。次年返中国内地。1894年甲午战争时，随袁世凯出关，负责前敌饷械及侦探敌情。1895年跟随袁世凯，参与创办北洋新军。1900年处理直隶地区义和团和教民之间纠纷案件。袁一時失势后，他投靠铁良，任陝西省漢中鎮正二品總兵。