怀疑其为胡德济指使。李诛杀其都事罗彦敬来恐吓德济，当时将领纷纷盛怒并向胡德济告状。胡则赞同李文忠做法，并要求属下禁止再议，说罗彦敬自有过失。后朱元璋得知后，表彰胡德济、指责李文忠，称自己度量不如胡德济。后胡德济升任江行省右丞，后改左丞，移镇杭州。此后跟随徐达征战定西，由于他的部队战败，徐达斩杀了他的几个部将，并把他绑入京师。朱元璋念其旧功，而将他释放。此后任命其为都指挥使，镇守陕西。