子，被任命为员外散骑侍郎。自李宝归顺北魏以来，陇西李氏三代都定居于平城，李佐因任官曾定居于相州，直到李佐时期才将户籍安置于魏郡汤阴县。李遵后被任命为相州别驾，又回京任奉车都尉，外调为冀州征北大将军长史，又加号中垒将军，任命为冀州安东府上僚，调任司空司马。正光五年五月八日（524年6月24日），李遵在洛阳显德里去世，虚岁五十二，皇帝下诏哀伤悲叹，赠予李遵假节、龙骧将军、洛州刺史。正光六年五月乙巳朔廿二日丙寅（525年6月28日）安葬于西门豹祠之南，李佐之墓的左侧。魏孝庄帝初年，李遵以外戚的身份被越级赠官为车骑