回到镇江，诸军吵嚷这说：“不可回去，回去有不测。”于是回到建康。已而完颜亮被弑，金兵退，叶义问还朝，力请退职，于是罢官。隆兴元年（1163年），中丞辛次膺弹劾叶义问“之前指挥诸将差点坏事，而且以官位给亲人好处”。贬谪到饶州。干道元年（1165年），宋孝宗诏命他自便。干道六年（1170年）卒，年七十三岁。