有了人马万余，着手建立所谓的“岳家军”。九月中旬，右武大夫、徐州观察使、楚泗州涟水军镇抚使赵立被砲石（并非火炮，而是石头）打碎头颅而死。九月下旬，金兵冲入楚州城和楚州军民巷战，终于攻克楚州。由于赵立的抗战态度，楚州保卫战的激烈抵抗是少有的，可以和靖康年间王禀的太原保卫战和同在建炎年间的西部陕州保卫战相提并论。十二月，为江南路招讨使，带领岳飞等部将讨伐军贼李成和收伏张用。绍兴元年（1131年）正月，改任江淮招讨使。三月，复筠州、临江军、江州。同月，完颜昌率军进攻张荣在缩头湖的水寨，为张荣大败，完颜昌一直撤