到处士张孝秀，二人志趣相投，令他打算在匡山终老。刘慧斐不做官，住在东林寺，又于山的北边建立园林，名叫「离垢园」，时人就称唿刘慧斐为「离垢先生」。他了解佛教典籍，精于书法，在山手写佛经二千多卷，经常背诵百多卷，日夜修道，从不怠慢，当地人都钦敬仰慕他。皇太子萧纲驾临江州，派人送给他几杖；湘东王萧绎及武陵王萧纪都不停问书。大同二年（536年）他去世，虚岁五十九。