随海沙子做马贼，号称汤大虎（在一些文学作品中写作汤二虎），威名赫赫，当地百姓甚惧之。马贼海沙子跟张作霖决斗身亡之后，汤归顺张作霖。汤玉麟与张作霖性情相投，是张作霖的义兄。1901年腊月三十夜土匪金寿山偷袭张作霖，汤玉麟及时赶到，奋不顾身地背着张作霖年幼的女儿张首芳突出重围；1902年初，金寿山再次纠集匪徒袭击八角台张作霖土匪驻地，汤玉麟再次出兵相助，因此他们成为生死之交。清末他毕业于东三省讲武堂，历任奉天前路巡防营马队管带、骑兵管带。中华民国成立后，他任张作霖所率第27师骑兵第27团团长，后升任第53旅旅长