到京后，何进又遣张辽往河北募兵，共得千余人。可是当张辽募兵尚未还时，京中何进已因剿宦失败而死，因此张辽所领兵尽归董卓所有。董卓死时，张辽统兵归属于吕布，迁任骑都尉（相当于骑兵队长，地位略低于将军）。后来，吕布为李傕所击败，张辽跟从吕布往东奔至徐州，任北地太守、鲁相（即管理当时的鲁国的行政长，在今山东省曲阜市、泗水县、滕州市一带）等职，时年二十八岁，成为早期就掌握行政历练的将领。建安三年，曾奉吕布命与中郎将高顺攻打屯小沛的刘备。到了曹操破吕布于下邳后，张辽部领吕布军余众归降，被拜为中郎将，赐爵关内侯。