处提调兼讲武堂练习。历任督队稽査先锋官、左翼歩兵第2营统带、北洋常备军军政司参谋处总办、天津南段警察局总办等职务。1907年（光绪三十三年），在袁世凯授意下以重金购得歌姬杨翠喜献给庆亲王奕劻之子载振，得以道尹一职，赏布政使衔，署理黑龙江巡抚。1908年（光绪34年），任署理黑龙江巡抚，并任北洋第3镇统制。后来他贿赂载振之事被曝光，舆论哗然。不久，被御史赵启霖题参而遭到革职。辛亥革命爆发时，段芝贵就任武卫右军右翼翼长。1912年（民国元年），就任拱卫军司令。1913年（民国2年），任江西宣抚使兼第2军军长