军校尉蹇硕唿吁，派张杨为蹇硕部下，被蹇硕封为假司马。蹇硕被杀后，张杨归顺何进。何进当权，派张杨募兵千余人在上党讨伐山贼。
讨伐董卓.董卓当权，张杨参与董卓讨伐战，攻上党太守于壶关，无功而还。后留上党，攻略诸县，聚众至数千人（据《常林传》载，受害者是当地大姓）。董卓讨伐军起，张杨依附袁绍，不为所用。初平二年（191年），匈奴单于于夫罗欲叛袁绍，张杨不从，于夫罗胁持张杨出走。于夫罗初败于袁绍将麴义，后又攻破度辽将军耿祉，放走张杨。
控制河内.于夫罗放走张杨后，