、耿南仲、聂山欲排除二人取而代之，让言官御史中丞李回弹劾他们，徐处仁与吴敏一起罢相，徐处仁以观文殿大学士为中太一宫使，吴敏为观文殿大学士、醴泉观使。不久，言官说他依附于蔡京父子，吴敏于是出知扬州，再贬崇信军节度副使，涪州安置。建炎初年，移柳州。宋高宗用范宗尹的举荐，起吴敏知潭州，吴敏辞免，于是提举洞霄宫。绍兴元年（1131年），复观文殿大学士，为广西、湖南宣抚使，在任上去世。