贫寒卑微，因会写文章，年少时被任用为官吏。后为南县吏，当有贼寇来犯时，都会身先士卒，冲出追寇。中平五年（188年）三月，代替遭休屠各胡攻杀的张懿接任并州刺史收编并州残军吏民，尔后转拜骑都尉、武勐都尉，屯兵在河内郡。期间录用以武勇闻名州里的吕布、张杨、张辽。同年八月，汉灵帝颁布下达诏书至诸州郡征募兵丁组建西园新军，同时大将军何进亦以府令传达各州郡征募兵勇，丁原接到诏令与府令后，先派遣武勐从事张杨入京谒拜上军校尉蹇硕，张杨被蹇硕封为上军假司马；经由张扬探查西园军内情得知，以袁绍为首的六名校尉（除却蹇硕、