晋则黄门郎，尤重者或侍中。（张）辽位未至公，而遣侍中，盖宠之也。」可见曹丕如何重视张辽。不久后，曹丕甚至亲到张辽军营执其手问候，赐其御衣，更派太官送御食。病情稍有好转后，张辽便返回其屯军之所驻军，忠于职守。后来孙权再次背叛魏国，曹丕派张辽乘舟至海陵与曹休会合，孙权甚惧，对各将领说：「张辽虽然有病，但仍势不可挡，要十分谨慎！」同年，张辽和其他将领打败孙权的将领吕范，不过后来被孙权军乘胜反击，击破曹休、张辽、臧霸等人，于是魏军撤退。他的病情却也日渐严重，最后终于在江都逝世。曹丕知道之后，非常伤心，谥为刚侯。