法兴、和巢尚之随意删改，和原意相同者十分少，故在朝中对义恭及师伯对有人胡乱干涉机密的选举事务表示不满。兴宗又图给官员选到合适的位，因而多次为选举问题和义恭等争论，最终让义恭、法兴等讨厌他，外调他到吴郡当太守。兴宗辞让职位后令义恭更为愤怒，改调他任新安王刘子鸾的抚军司马、辅国将军、南东海太守、行南徐州事。但兴宗又自求益州，盛怒的义恭遂上奏弹劾兴宗，最终令其贬到属交州的新昌郡当太守，此一调迁令朝廷中人都嗟叹惊骇。
先见之明.永光元年（465年），戴法兴被前废帝赐死，不久刘义恭与柳元景、