元王的后代。事母至孝。自负其才，不侣流俗。早年担任府参军，后弃官归隐，参加慧远大师的莲社，勤修禅坐，曾在定中见到佛陀。《报恩论》称：「刘遗民三度见佛，衣覆手摩，自当上品。」。谢安与刘裕想聘用他，皆不就。元兴元年（402年）七月，与周续之、毕颖之、宗炳、雷次宗等一百二十三人，共斋于庐山般若台精舍的佛像前，立誓共修念佛三昧，写就《西方发愿文》，（《庐山结社立誓文》）。