卖国。秦桧使人罢免吴芾，出京通判处、婺、越（今绍兴）三州。秦桧死后，为处州知府。曾建议高宗亲征，驻跸建康（今南京），“以系中原之望”。绍兴三十年（1160年），以集英殿修撰出知婺州。绍兴三十一年（1162年），调任两浙东路安抚使，驻越州。三十一年，担任监察御史，迁殿中侍御史。孝宗即位，知绍兴府，干道元年（1165年），调任刑部侍郎，升给事中，干道三年（1167年）改吏部侍郎，以敷文阁直学士身份知临安府兼任两浙东路安抚使。以事提举太平兴国宫。起知太平州。干道六年（1170年），以龙图阁直学士致仕，修小西湖于后