安置于魏郡汤阴县。李遵后被任命为相州别驾，又回京任奉车都尉，外调为冀州征北大将军长史，又加号中垒将军，任命为冀州安东府上僚，调任司空司马。正光五年五月八日（524年6月24日），李遵在洛阳显德里去世，虚岁五十二，皇帝下诏哀伤悲叹，赠予李遵假节、龙骧将军、洛州刺史。正光六年五月乙巳朔廿二日丙寅（525年6月28日）安葬于西门豹祠之南，李佐之墓的左侧。魏孝庄帝初年，李遵以外戚的身份被越级赠官为车骑大将军、仪同三司、定州刺史。李遵的墓志全称为《魏故龙骧将军洛州李使君墓志》，由李遵夫人的妹夫张景渊撰写，拓片藏于北京