年以疾罢归。文宗大和五年（831年）征为太子宾客，是年七月卒。《全唐诗》存诗五首。他读书的地方「白鹿洞」，后世几经扩建为白鹿洞书院，位列中国四大书院之首。
“芥子纳须弥”公案.宋代释赞宁《宋高僧传》记载李渤任江州刺史时曾与白居易一起去拜访过智常禅师：李问曰：‘教中有言，须弥纳芥子芥子纳须弥，如何芥子纳得须弥？’常曰：‘人言博士学览万卷书籍还是否耶？’李曰：‘忝此虚名。’常曰：‘摩踵至顶只若干尺身，万卷书向何处着？’李俯首无言。再思称叹。