4年6月24日），李遵在洛阳显德里去世，虚岁五十二，皇帝下诏哀伤悲叹，赠予李遵假节、龙骧将军、洛州刺史。正光六年五月乙巳朔廿二日丙寅（525年6月28日）安葬于西门豹祠之南，李佐之墓的左侧。魏孝庄帝初年，李遵以外戚的身份被越级赠官为车骑大将军、仪同三司、定州刺史。李遵的墓志全称为《魏故龙骧将军洛州李使君墓志》，由李遵夫人的妹夫张景渊撰写，拓片藏于北京图书馆。