袁紹破，別遣遼定魯國諸縣。與夏侯淵圍昌豨於東海，數月糧盡，當引軍還。遼遂單身上三公山，入豨家，拜妻子。豨歡喜，隨詣操。操責曰：「此非大將法也。」遼謝曰：「以明公威信著於四海，遼奉聖旨，豨必不敢害故也。」從討袁譚、袁尚於黎陽，有功，行中堅將軍。從攻尚於鄴，尚堅守不下。操還許，使遼與樂進拔陰安，徙其民河南。復從攻鄴，鄴破，遼別徇趙國、常山，招降緣山諸賊及黑山孫輕等。從攻袁譚，譚破，別將徇海濱，破遼東賊柳毅等。還鄴，操自出迎遼，引共載，以遼為蕩寇將軍。復別擊荊州，定江夏諸縣，還屯臨穎，封都亭侯。從征袁尚於柳城，率與虜遇，遼勸操戰，氣甚奮，操壯之，自以所持麾授遼。遂擊，大破之，斬單于蹋頓。