元礼宠妾赵氏貌美，李茂逼迫欲夺为己有。李元礼叱责李茂，李茂愤恨，屏退李元礼的侍卫，断绝了父亲的汤药和膳食，说：“为王五十年足矣，何服药为？”李元礼最终饿死，李茂袭封徐王。上元年间（674年—676年），此事泄露朝廷得知，李茂被流放海南岛的振州后死在那里。神龙初年（705年），以李茂子李璀嗣徐王，李璀子李延年。