后，任尚书左丞，掌管官僚人事。工部尚书宇文恺、右翊卫大将军于仲文争夺河东郡银矿採掘，郎茂弹劾，两者都获罪。郎茂上奏编纂的《州郡图经》一百卷，交给秘府珍藏。炀帝多次巡幸，王朝纲纪紊乱，法令残破。郎茂不敢谏言，只是哀叹。年老请求退休，没被批准。炀帝远征高句丽，郎茂留守晋阳宫。恒山赞治王文同弹劾郎茂交结朋党。负责调查的纳言苏威、御史大夫裴蕴都和郎茂关系不好，于是诬陷郎茂。炀帝大怒，郎茂和弟弟郎楚之被剥夺官爵、流放且末郡。郎茂坦然接受。流放途中作《登壠赋》自我安慰。上表文为自己申辩，炀帝逐渐醒悟。614年（大业