汤玉麟的嫡系部队自恃劳苦功高，设赌开局，抢劫财物，打砸商店，欺压良民。奉天省警察厅长王永江命令警察处罚、拘禁军人，查封赌场，捣毁赌具。湯玉麟不满，上告張作霖，張作霖支持王永江。1917年（民国6年），湯玉麟趁奉天警務處長王永江整肃军纪之际枪杀两名执法处的宪兵，被張作霖免職，遂投奔反對張作霖的第28師師長馮德麟。张作霖派军官教育团团长阚朝玺深入汤军内部，对军官分化瓦解，有10余营长焚香宣誓，表示效忠张作霖。汤玉麟见大势已去，大骂张作霖，离开奉天回新民。张作霖向汤玉麟修书和解被拒。段祺瑞表示支持张作霖，冯德麟因此对汤玉麟“拒而不纳”。汤玉麟走投无路，又去做土匪。张作霖派五十四旅旅长孙烈臣和骑兵团长张作相对其进剿，汤玉麟逃往徐州投靠张勋。同年7月，馮德麟響應張勳復辟（實際上是反張作霖的起義），湯玉麟参加。馮德麟敗北，收監天津，湯玉麟逃亡外蒙古。翌年，汤的母亲请张作相、张景惠等人说情，獲得張作霖赦免，回到奉天。