弟弟封爵为公。李绪官至金州（今陕西省安康市）刺史。唐中宗废居房陵，武则天称制，李绪和越王李贞、博州刺史琅邪王李冲父子，韩王李元嘉、黄国公李譔父子，鲁王李灵夔、左散骑常侍范阳王李蔼父子，暗中有匡复反正之志。李贞、李冲父子谋反，李元嘉、李灵夔自杀，李元轨配放黔州。李绪、李譔、李蔼、故虢王李凤之子东莞公李融与李贞通谋、与殿中监裴承先（开国功臣裴寂之孙）交通，在垂拱四年十二月初一乙酉（688年12月28日），他们被处决，改姓虺氏。唐中宗神龙初年，与李元轨一起追复官爵，封李绪孙、嗣王李志顺之子李晖为嗣霍王。景龙四年（