土山上包围关羽，张辽请缨劝说关羽暂降曹军，以报关羽白门楼相救之恩。关羽降曹期间，张辽一直担任曹操与关羽之间的协调者与斡旋者。后来关羽过五关斩六将，被夏侯惇追赶纠缠，亦赖张辽赶至拆解二人纷争，让关羽可以顺利离开曹营。张辽跟随曹操后，一直随军征讨，不久参与官渡之战，先后大战张郃，斩蒋奇，大败袁尚、沮鹄。在追击袁熙、袁尚时张辽受曹操任命，秉持军麾，担任首将，率领许褚、于禁、徐晃迎击乌桓军，张辽更亲斩乌桓单于蹋顿，建立诸多战功。曹操南下追击刘备于长坂时，张飞据桥拒守，并威胁曹操如不退兵便深入军中取其首级