。后来，吕布为李傕所击败，张辽跟从吕布往东奔至徐州，任北地太守、鲁相（即管理当时的鲁国的行政长，在今山东省曲阜市、泗水县、滕州市一带）等职，时年二十八岁，成为早期就掌握行政历练的将领。建安三年，曾奉吕布命与中郎将高顺攻打屯小沛的刘备。到了曹操破吕布于下邳后，张辽部领吕布军余众归降，被拜为中郎将，赐爵关内侯。
功果显名.张辽投靠曹操以后，随军征讨，数有战功，累迁裨将军。建安五年（200年），袁绍派颜良袭击白马，张辽与关羽被派往救援，大败袁军。曹操击破袁绍的主力部队后，派遣张辽管辖