黃初二年，遼朝洛陽宮，帝引遼會建始殿，親問破吳意狀。帝歎息顧左右曰：「此亦古之召虎也。」為起第舍，又特為遼母作殿，以遼所從破吳軍應募步卒，皆為虎賁。孫權復稱藩，遼還屯雍丘，得疾。帝遣侍中劉曄將太醫視疾。疾未瘳，帝迎遼就行在所，車駕親臨，執其手，賜以御衣，太官日送御食。疾小差，還屯。孫權復叛，帝遣遼乘舟，與曹休至海陵，臨江。權甚憚焉，敕諸將：「張遼雖病，不可當也，慎之！」是歲遼與諸將破權將呂範。遼病篤，遂薨於江都。帝為流涕，謚曰剛侯。子虎嗣。