愔再狩猎扰民。典军杨道整叩马进谏，被李愔殴打。永徽元年，御史大夫李干祐弹劾李愔之罪，高宗大怒，左迁李愔黄州刺史。杨道整提拔为匡道府折冲都尉。永徽四年，因母兄吴王李恪因诬被杀，李愔废为庶人，移居巴州。不久之后，改封涪陵郡王。干封二年二月戊戌，李愔去世。咸亨初年，复蜀王爵位，追赠益州大都督。陪葬昭陵，谥号“悼”。有碑一方，现已亡佚。墓葬不明。