颐浩的短处，吕颐浩与秦桧都忌恨他，于是二人一起罢免，韩璜贬为监浔州酒税，富直柔以本官提举洞霄宫。绍兴六年（1136年），为生母丁忧。起复为资政殿学士、知镇江府，推辞不去。起知衢州。以错判死罪，落职奉祠。不久复端明殿学士。徜徉山水，放意吟诗，与苏迟、叶梦得等人交往，在家中寿终。