冯德麟因此对汤玉麟“拒而不纳”。汤玉麟走投无路，又去做土匪。张作霖派五十四旅旅长孙烈臣和骑兵团长张作相对其进剿，汤玉麟逃往徐州投靠张勋。同年7月，冯德麟响应张勋复辟（实际上是反张作霖的起义），汤玉麟参加。冯德麟败北，收监天津，汤玉麟逃亡外蒙古。翌年，汤的母亲请张作相、张景惠等人说情，获得张作霖赦免，回到奉天。1919年（民国8年），汤玉麟任东三省巡阅使署中将顾问顾问，直皖战争之际任侦探队长。后来他任奉天东边镇守使兼左路巡防队统领。翌年，他升任第11混成旅旅长，1923年（民国12年）调任第7混成旅旅长。