国柏林陆军学院留学期间继续深造砲兵相关知识，隔年（1890年）回国。回国后，段祺瑞先短暂任职北洋军械局委员，1891年改任威海随营武备学堂教习兼炮兵统带，曾参与威海卫之战。1894年甲午战争，北洋舰队全灭后，1895年12月段祺瑞进入袁世凯幕府，于小站练兵，担任砲兵队统带兼随营学堂监督，成为袁的亲信，其宦途也跟随着袁世凯扶摇而上。
经历.1899年，袁世凯编练的新军开赴山东省镇压义和团；1901年，段祺瑞升任武卫右军各学堂总办，因袁世凯升官担任直隶总督兼北洋大臣，武卫右军更名常