骑兵第27团团长，后升任第53旅旅长。1916年4月22日，袁世凯命张作霖为奉天盛武将军督理奉天军务兼奉天巡按使，张作霖不久就提拔汤玉麟为第二十七师五十三旅旅长兼省城密探队司令，率部驻扎省城。汤玉麟的嫡系部队自恃劳苦功高，设赌开局，抢劫财物，打砸商店，欺压良民。奉天省警察厅长王永江命令警察处罚、拘禁军人，查封赌场，捣毁赌具。汤玉麟不满，上告张作霖，张作霖支持王永江。1917年（民国6年），汤玉麟趁奉天警务处长王永江整肃军纪之际枪杀两名执法处的宪兵，被张作霖免职，遂投奔反对张作霖的第28师师长冯德麟。