，任上奏还信州所移的税钱二百万贯，免税米二万斛，又裁减役夫一千六百人，不满一年，移江州刺史，累迁给事中。敬宗宝历元年（825年）鄠县县令崔发因误辱中官下狱，李渤替崔发鸣不平，反被诬为同党，又出京为桂州刺史，兼御史中丞，改桂管观察使，二年以疾罢归。文宗大和五年（831年）征为太子宾客，是年七月卒。《全唐诗》存诗五首。他读书的地方「白鹿洞」，后世几经扩建为白鹿洞书院，位列中国四大书院之首。
“芥子纳须弥”公案.宋代释赞宁《宋高僧传》记载李渤任江州刺史时曾与白居易一起去拜访过智常