子舍人起家，迁任晋安王萧纲的宣惠、云麾二府记室，获得敬重，转任南徐州治中；之后萧纲任职雍州刺史，引用他为安北谘议参军，带任邔县县令。中大通二年（530年），梁武帝立萧纲为皇太子，刘遵除授中庶子，他跟随萧纲自藩国到东宫，因为旧恩得到宠遇，其他人都及不上他。大同元年（535年）他在任内去世，萧纲十分可惜，与他的堂兄刘孝仪说下许多怀念他的话。