，张辽随曹操到黎阳讨伐袁谭、袁尚联军，因战功而晋升为中坚将军。但袁尚坚守邺城，久攻不下，曹操便返回许都，命张辽和乐进攻下了阴安，迁徙当地居民到河南。204年随曹操成功攻下邺城，又转攻赵国、常山，招降缘山多个贼军及黑山贼孙轻等。205年，随曹操成功讨灭袁谭，攻下海滨，并击败辽东的贼兵柳毅等。还军到邺城，曹操亲自出城迎接，邀请张辽共乘一车以示荣耀，后曹操上表汉献帝表功张辽、乐进和于禁三人，并任命张辽为盪寇将军。接着张辽又率军攻打荆州，平定了江夏各县，在临颖屯兵，受封为都亭侯。207年，曹操要征讨在柳城的