，参预军国大议，拜银青光禄大夫，隐居衡山（今湖南省），修练道教，共十二年，刘昫说：“居相位而从事鬼神，乃见狂妄浮薄之踪。”代宗时，召为翰林学士，不久因得罪权臣元载，被代宗外放为杭州刺史以避祸。德宗时，元载失势，复召回朝廷并授散骑常侍。贞元中，拜中书侍郎平章事，封邺县侯。李泌以虚诞自任，辅佐四朝天子。贞元五年三月甲辰（789年4月12日），辞世。有文集二十卷。
家庭.五子：李○，高陵尉；李繁，和州刺史；李繟，咸阳尉；李紩，涪州刺史；李绚，华州文学。李繁临死前于狱中撰《邺侯家传