谷由敷文阁直学士、枢密都承旨兼侍读，转任端明殿学士、签书枢密院事，成为执政。不久兼权参知政事，成为副相。绍兴十七年（1147年）正式任参知政事。同年，被汪勃论斥，宋高宗将他罢职，为资政殿学士，提举江州太平观。再被上疏弹劾，于是被夺职，到江州（治今江西省九江市）居住。