权，张杨参与董卓讨伐战，攻上党太守于壶关，无功而还。后留上党，攻略诸县，聚众至数千人（据《常林传》载，受害者是当地大姓）。董卓讨伐军起，张杨依附袁绍，不为所用。初平二年（191年），匈奴单于于夫罗欲叛袁绍，张杨不从，于夫罗胁持张杨出走。于夫罗初败于袁绍将麴义，后又攻破度辽将军耿祉，放走张杨。
控制河内.于夫罗放走张杨后，张杨被董卓封为建义将军、河内太守。兴平二年（195年），董承带汉献帝逃避李傕追击至大阳（今山西平陆西），张杨以粮食朝贡，被封为安国将军、晋阳侯，假节开府。张杨希望汉