入朝为大理少卿，弘文馆学士。再出为亳州刺史，州境有贼，李繁出兵加以诛除。时议以为李繁杀伐过甚，又事先不告知节度使，涉于擅兴之罪。朝廷遣监察御史舒元舆调查，元舆与李繁有旧怨，又锐于生事，穷致其罪，太和三年（829年）十一月十日，以“滥杀不辜”下狱，赐死于京兆府。李繁恐先人功业泯灭，向狱吏求废纸，临死前于狱中撰《邺侯家传》。