岳飞终于接旨，前往建康。拜若虚为太尉，升湖北京西宣抚使兼营田大使。绍兴八年（1138年），为军器监丞。绍兴十年（1140年）高宗派李若虚赴前线，于德安府见岳飞，谕旨班师回朝，岳飞不从，李若虚自愿承担矫诏之罪，支持岳飞进军。十一年（1141年），知宣州，为岳飞幕客。绍兴十二年（1142年），因议时政罢职，勒停官职，徽州羁管。死于贬所。诗作见清光绪《湖南通志》。