过人，很快就在绿林中崛起，成为二当家的。他不甘寄人篱下，不久就自立门户，成为锦西红罗山的山大王。甲午战争后，一些溃散清军携武器加入他的队伍。日俄战争之际，辽西一片混乱，为了自卫，汤玉麟也成立保险队。
在张作霖麾下.他跟随海沙子做马贼，号称汤大虎（在一些文学作品中写作汤二虎），威名赫赫，当地百姓甚惧之。马贼海沙子跟张作霖决斗身亡之后，汤归顺张作霖。汤玉麟与张作霖性情相投，是张作霖的义兄。1901年腊月三十夜土匪金寿山偷袭张作霖，汤玉麟及时赶到，奋不顾身地背着张作霖年幼的女儿张首芳突出