。七年（1171年）六月，复太尉。乞祠，提举兴国宫（祠禄官），绍兴府居住，岁赐米二千石。九年（1173年），显忠称病辞官。淳熙四年（1177年），显忠受到孝宗召见赐银合茶药。五年（1178年）七月卒，赠开府仪同三司、陇西郡开国公，谥忠襄，九月，葬于绍兴府山阴承务乡秦望山。
评价.《宋史》评价李显忠说：“李显忠生而神奇，立功异域，父子破家狥国，志复中原，中罹谗构，屡遭废黜，伤哉！”对显忠不能完成恢复中原的大业表示惋惜。