寒，无钱读书，靠打工为生，运输货物时，遭土匪抢劫，一怒之下到大凌河投靠范四、范五兄弟，落草为寇。他好勇斗狠，力量过人，很快就在绿林中崛起，成为二当家的。他不甘寄人篱下，不久就自立门户，成为锦西红罗山的山大王。甲午战争后，一些溃散清军携武器加入他的队伍。日俄战争之际，辽西一片混乱，为了自卫，汤玉麟也成立保险队。
在张作霖麾下.他跟随海沙子做马贼，号称汤大虎（在一些文学作品中写作汤二虎），威名赫赫，当地百姓甚惧之。马贼海沙子跟张作霖决斗身亡之后，汤归顺张作霖。汤玉麟与张作霖性情相投，是