德，一开始担任奉朝请、尚书度支郎。北魏迁都洛阳后，李遵担任营构将。魏孝文帝元宏南征南齐，李遵出任行台郎。北魏军队返回后，李遵出任太子步兵校尉。魏宣武帝元恪初年，李遵转任步兵校尉，兼任散骑侍郎，作为东北道使卢昶的副手，回朝后出任司空咨议，加中垒将军。京兆王元愉以征东将军出任冀州刺史时，李遵担任征东府司马。元愉在冀州自立为皇帝谋反，召集州府官吏将事情告知，李遵不从，被元愉杀死，李遵时年虚岁四十四。元愉被平定后，朝廷赐予李遵布帛二百匹，赠予征虏将军、幽州刺史，谥号简，授予李遵的儿子李浑给事中。