遗命恢复了他的职位，历任尚书左仆射、司空。高宗问他：“朕欲立武昭仪为皇后，你觉得如何？”李勣说道：“此陛下家事，何必要问外人。”总章元年（668年），李勣率兵至鸭绿江，与薛仁贵会于平壤，攻克平壤，大胜而归（参见唐与高句丽的战争）。总章二年（669年）十二月初三戊申日，李勣卒，享年七十六岁，唐高宗辍朝七日，赠李勣太尉、扬州大都督，谥号贞武，陪葬昭陵。因后来其孙徐敬业反对武则天，发动起事，被族诛，李勣也被剖棺戮尸。到后来唐中宗以神龙之变复辟之后才平反昭雪，以礼改葬。
李勣碑与墓志