伐军起，张杨依附袁绍，不为所用。初平二年（191年），匈奴单于于夫罗欲叛袁绍，张杨不从，于夫罗胁持张杨出走。于夫罗初败于袁绍将麴义，后又攻破度辽将军耿祉，放走张杨。
控制河内.于夫罗放走张杨后，张杨被董卓封为建义将军、河内太守。兴平二年（195年），董承带汉献帝逃避李傕追击至大阳（今山西平陆西），张杨以粮食朝贡，被封为安国将军、晋阳侯，假节开府。张杨希望汉献帝回洛阳，被诸将拒绝，回到野王（今河南沁阳近域）。建安元年（196年），张杨与董承再次提出希望汉献帝回洛阳，杨奉、李乐拒绝。董