瞒上，被斥去后，天下称快。三年后，杨愿起知宣州。表弟王炎调任蕲水令，来见他，醉酒中对杨愿说：“曾经在吕颐浩丞相处得到你当年给他的书信，其中很多地方说到秦丞相的短处，你还记得吗？”杨愿听到后，面如死灰，留下王炎不让他离去。玉牒书成，加资政殿学士，转任建康府。在金陵大宴监司，守兵懈怠，王炎从青溪搭客船逃走，绍兴二十二年（1152年），杨愿忧虑不安而死，时年五十二岁。