被撤职流放，河北西路招抚司随之撤销。在进军途中，岳飞与王彦意见不合，后遂脱离王彦单独行动，但众寡不敌，重归王彦被拒，于是南下投奔延康殿学士、京城留守、兼开封尹宗泽。岳飞以不服主将号令当斩，被宗泽赦免，仅免官待罪。建炎二年（1128年七月），宗泽病逝，杜充接任东京留守。八月，岳飞再次在汜水关击败金军，升转武功郎。杜充命令岳飞去消灭张用、曹成、王善等被原宗泽招安但在其死后不受约束的部队，岳飞以所部八百人死战，升转武经大夫。接着，岳飞奉命解救盗匪杜叔五、孙海围困的东明县，升转武略大夫，借补英州刺史。岳飞再救援