复懐怏怏不平之气，而常州闾阎，风俗浅薄，知有李纲而已，万一盗贼羣起，借纲为名，臣恐国家之忧，不在金人，而在萧墙之内，以为李纲者，陛下纵未加鈇钺之诛，犹当置之岭海遐远无盗贼之处，庶几国家可以少安，故有是命”。二年（1128年）十月，命其移往澧州（治今湖南常德市澧县）。御史中丞王绹弹劾李纲“经年不赴贬所，又论纲靖康中要功劫寨、结众伏阙、覆师太原凡三罪，请投之岭海”。十一月四日，责授单州团练副使，又被贬谪万安军（海南岛）。十一月下旬，与次子李宗之南渡琼州。三年（1129年）二月，大赦，不以赦徒。八月，高宗谓辅臣曰