一时，士人全都听从，以便将来得到好处，只有秦桧守正不易。”秦桧自从再居相位，每次推荐执政，必选没有名誉、柔弱奸佞容易控制之人。杨愿迎合秦桧之意，欺下瞒上，被斥去后，天下称快。三年后，杨愿起知宣州。表弟王炎调任蕲水令，来见他，醉酒中对杨愿说：“曾经在吕颐浩丞相处得到你当年给他的书信，其中很多地方说到秦丞相的短处，你还记得吗？”杨愿听到后，面如死灰，留下王炎不让他离去。玉牒书成，加资政殿学士，转任建康府。在金陵大宴监司，守兵懈怠，王炎从青溪搭客船逃走，绍兴二十二年（1152年），杨愿忧虑不安而死，时年五十二