贞，南阳涅阳县人（今河南省邓州市）。刘虬之子。生于宋顺帝昇明二年，八岁能属文，十五举茂才，学问渊博，历任中书侍郎、南郡太守，曾任湘东王萧绎的长史，官至都官尚书。梁武帝太清三年，侯景派刘之遴授临贺王萧正德玺绶，刘之遴不肯，企图逃亡，他剃发并换上和尚袈裟，打算前往江陵投奔萧绎。刘之遴走到夏口，萧绎妒嫉他的才华，派密使送去毒药，命刘之遴服毒自尽。年七十二岁。萧绎为其亲撰写墓志铭。曾孙刘洎。