多次巡幸，王朝纲纪紊乱，法令残破。郎茂不敢谏言，只是哀叹。年老请求退休，没被批准。炀帝远征高句丽，郎茂留守晋阳宫。恒山赞治王文同弹劾郎茂交结朋党。负责调查的纳言苏威、御史大夫裴蕴都和郎茂关系不好，于是诬陷郎茂。炀帝大怒，郎茂和弟弟郎楚之被剥夺官爵、流放且末郡。郎茂坦然接受。流放途中作《登壠赋》自我安慰。上表文为自己申辩，炀帝逐渐醒悟。614年（大业十年）、郎茂回到长安。615年（大业十一年），七十五岁的郎茂去世。其子郎知年。