步大汗萨的祖父步大汗荣曾任金门、化正两郡的太守，父亲步大汗居则为龙骧将军、领民别将。正光末年六镇之乱发生，他和家人南下避难，在秀容投奔尔朱荣。之后他跟随尔朱荣到洛阳，以军功除授扬武军帐内统军，赐爵江夏子；平定葛荣后累功加官镇南将军。尔朱荣死后，又跟从尔朱兆入洛阳，补任帐内大都督，在韩陵作战。尔朱兆战败，步大汗萨率领部众投降，高欢任命他为第三领民酋长，迁任秦州镇城都督、北雍州刺史。东魏天平年间，步大汗萨迁任东寿阳三泉都督，到元象年间，出行燕州，迁任临川领民大都督，赐爵长广伯。当时柔然抢掠边境，高欢派遣步大汗