与张作霖性情相投，是张作霖的义兄。1901年腊月三十夜土匪金寿山偷袭张作霖，汤玉麟及时赶到，奋不顾身地背着张作霖年幼的女儿张首芳突出重围；1902年初，金寿山再次纠集匪徒袭击八角台张作霖土匪驻地，汤玉麟再次出兵相助，因此他们成为生死之交。清末他毕业于东三省讲武堂，历任奉天前路巡防营马队管带、骑兵管带。中华民国成立后，他任张作霖所率第27师骑兵第27团团长，后升任第53旅旅长。1916年4月22日，袁世凯命张作霖为奉天盛武将军督理奉天军务兼奉天巡按使，张作霖不久就提拔汤玉麟为第二十七师五十三旅旅长兼省城密