杀了麴胜，为刘隽报仇，郡内的百姓都认爲他很讲道义。此后跟随季父张济为董卓效力，建立军功，迁为建忠将军，封宣威侯。董卓死后，张济于197年因为进攻荆州牧刘表镇守的南阳，中流矢战死，不过张绣却得到刘表的接纳，接管了张济的军队，佔据宛城，与刘表联合。此后，曹操率军攻打宛城，张绣举众投降。由于曹操好色，染指于张绣的婶母——张济之妻，将张济之妻纳为妾室，张绣恨之。曹操听闻张绣心怀不满，也密谋诛除张绣。张绣有一勇将胡车儿，曹操爱其骁健，于是赏赐金钱给胡车儿，张绣怀疑这是曹操收买叛徒的手段，遂决定先下手为强，袭击曹操