1168年）二月己亥，拜右仆射、同中书门下平章事兼枢密使。蒋芾母亲去世，宋孝宗诏命他起复，拜左仆射。宋孝宗命大臣议和战，因为争执不下，宋孝宗让蒋芾决断。蒋芾奏“天时人事未至”，和孝宗大举攻金的计划相左，于是十一月甲辰罢相，任观文殿大学士、知绍兴府（治今浙江省绍兴市）、提举洞霄宫。后来因言罢职，居住建昌军。着《逸史》。