又转任西兖州刺史，仍为镇西将军。又入朝担任光禄大夫，爵位按旧例降为侯爵。李茂生性谦虚谨慎，因为幼弟李冲得宠过甚，担心富贵权势过多，以年老有病为由请求放弃官职。魏孝文帝元宏没有强求李茂的意志，决定让李茂享受大夫的俸禄，归还私人的住所，李茂因此定居于定州的中山郡，从此悠闲的居住于自己家中，不回京师。景明三年（502年），李茂去世，虚岁七十一，谥号恭侯。