张绣生年不详。185年，韩遂与边章在西凉起兵造反，袓厉县长刘隽与麹胜作战被杀。当时张绣为县吏，寻找机会杀了麴胜，为刘隽报仇，郡内的百姓都认爲他很讲道义。此后跟随季父张济为董卓效力，建立军功，迁为建忠将军，封宣威侯。董卓死后，张济于197年因为进攻荆州牧刘表镇守的南阳，中流矢战死，不过张绣却得到刘表的接纳，接管了张济的军队，佔据宛城，与刘表联合。此后，曹操率军攻打宛城，张绣举众投降。由于曹操好色，染指于张绣的婶母——张济之妻，将张济之妻纳为妾室，张绣恨之。曹操听闻张绣心怀不满，也密谋诛除张绣。张绣有一勇