军纪之际枪杀两名执法处的宪兵，被张作霖免职，遂投奔反对张作霖的第28师师长冯德麟。张作霖派军官教育团团长阚朝玺深入汤军内部，对军官分化瓦解，有10余营长焚香宣誓，表示效忠张作霖。汤玉麟见大势已去，大骂张作霖，离开奉天回新民。张作霖向汤玉麟修书和解被拒。段祺瑞表示支持张作霖，冯德麟因此对汤玉麟“拒而不纳”。汤玉麟走投无路，又去做土匪。张作霖派五十四旅旅长孙烈臣和骑兵团长张作相对其进剿，汤玉麟逃往徐州投靠张勋。同年7月，冯德麟响应张勋复辟（实际上是反张作霖的起义），汤玉麟参加。冯德麟败北，收监天津，汤玉麟逃亡外