士。担任删定官，迁秘书正字，乐清县尉。与秦桧旧旧，秦桧权势熏天，如不相识，吴芾揭露秦桧卖国。秦桧使人罢免吴芾，出京通判处、婺、越（今绍兴）三州。秦桧死后，为处州知府。曾建议高宗亲征，驻跸建康（今南京），“以系中原之望”。绍兴三十年（1160年），以集英殿修撰出知婺州。绍兴三十一年（1162年），调任两浙东路安抚使，驻越州。三十一年，担任监察御史，迁殿中侍御史。孝宗即位，知绍兴府，干道元年（1165年），调任刑部侍郎，升给事中，干道三年（1167年）改吏部侍郎，以敷文阁直学士身份知临安府兼任两浙东路安抚使。以