917年（民国6年）7月张勋拥立宣统帝，发动辫军复辟之际，段芝贵被任命为讨逆军东路司令，击败辫军，获封辅威上将军。1918年（民国7年）1月，任陆军总长。翌年1月，改任京畿卫戌司令。1920年（民国9年）7月的直皖战争中，段芝贵任定国军西路总司令，和直系作战败北。此后遭到通缉，逃入天津的租界，完全从政界和军界引退。1925年（民国14年）3月去世。享年57岁。着名数学家、数学教育家杨武之（其子杨振宁，诺贝尔物理学奖获得者）的父亲杨邦盛曾为段氏之幕府中司“笔札”（类似文员）。