如果不出师，我当交出节杖请求退职。”王庶认为岳飞有壮志。王庶还朝，说金人狡诈，背叛海上之盟，又提到岳飞交出节杖的话。当时，秦桧为相，主持和议。金使乌陵思谋来到，宋高宗下诏让王庶回朝。王庶反对和议，请求诛杀金使，其言论直切。金朝又派遣张通古来许割地，归还宋徽宗梓宫，送回韦太后。王庶说：“和议之事，臣所不知。”七次上疏请求免官，于是以资政殿学士知潭州。御史中丞勾龙如渊弹劾王庶本赵鼎所推荐，欺君罔上。王庶罢归，至九江，被夺职，回家居住。绍兴十三年（1143年），御史胡汝明弹劾王庶讥讪朝政，贬为响德军节度副使，