有议论废罢修政局动摇秦桧的，刘一止及检讨官林待聘都上疏说不能废。绍兴二年（1132年）七月，刘一止被免去监察御史，任起居郎，因他说的话自相矛盾，有见识的人讥笑他。
暂时罢官.吕颐浩自镇江都督府还朝，谋划赶走秦桧，有人让他引朱胜非为助。吕颐浩又以黄龟年为殿中侍御史，刘蓒为右司谏以赶走秦桧。黄龟年最初弹劾秦桧专主和议，破坏恢复，结党专权，阴险奸诈，不会长久，以至把秦桧比作王莽、董卓。秦桧也想排挤吕颐浩，于是召用一时名贤如胡安国、张焘、程王禹等布列清要。因为胡安国曾问游酢谁是人才