宋司空刘勔，父亲南齐太常刘悛，兄弟刘孺、刘览。刘遵年少端庄，有学问品德，擅长写文章，从着作郎、太子舍人起家，迁任晋安王萧纲的宣惠、云麾二府记室，获得敬重，转任南徐州治中；之后萧纲任职雍州刺史，引用他为安北谘议参军，带任邔县县令。中大通二年（530年），梁武帝立萧纲为皇太子，刘遵除授中庶子，他跟随萧纲自藩国到东宫，因为旧恩得到宠遇，其他人都及不上他。大同元年（535年）他在任内去世，萧纲十分可惜，与他的堂兄刘孝仪说下许多怀念他的话。