除异己，甚至有意拥立义康为帝，这一切都被文帝知悉，并开始猜疑提防义康集团。元嘉十七年（440年），宋文帝采取行动，诛杀、罢黜或流放刘湛等义康党羽，并外调义康为江州刺史，以州事委大将军谘议参军、领豫章太守萧斌，尽削其权力。元嘉二十二年（445年），太子詹事范晔、员外散骑侍郎孔熙先等人被告发图谋拥立刘义康，皆以谋反被诛，义康亦被牵连而遭废为庶人，流放到安成郡。元嘉二十四年（447年），胡诞世等人于豫章谋反，欲奉义康为主，被平定后文帝在江夏王刘义恭的建议下更欲将义康迁至广州，但还未成行就遇上元嘉二十七年（450年