未想好，但仓卒之间还是说已决定任用王鸿。而自元嘉十六年秋季起，文帝再也没有去过义康的东府，文帝至此见主相之间的矛盾已经趋于明显，担心会生大祸，于是就元嘉十七年（440年）收杀义康的亲信刘湛、刘斌等人，又流放了刘湛党羽何默子等，废王履于家。当日，刘义康在中书省，在收到文帝所宣布刘湛等人的罪状后，便上表求退。文帝遂改义康都督江州诸军事、江州刺史，出镇豫章。次年义康到豫章辞任刺史，文帝加增督交广二州湘州之始兴诸军事。
涉反罹祸.元嘉二十二年（445年）十一月，徐湛之告发范晔、孔熙先等密谋