汤玉麟见大势已去，大骂张作霖，离开奉天回新民。张作霖向汤玉麟修书和解被拒。段祺瑞表示支持张作霖，冯德麟因此对汤玉麟“拒而不纳”。汤玉麟走投无路，又去做土匪。张作霖派五十四旅旅长孙烈臣和骑兵团长张作相对其进剿，汤玉麟逃往徐州投靠张勋。同年7月，冯德麟响应张勋复辟（实际上是反张作霖的起义），汤玉麟参加。冯德麟败北，收监天津，汤玉麟逃亡外蒙古。翌年，汤的母亲请张作相、张景惠等人说情，获得张作霖赦免，回到奉天。1919年（民国8年），汤玉麟任东三省巡阅使署中将顾问顾问，直皖战争之际任侦探队长。后来他任奉天东边镇