孝武帝有所不快。大明三年（459年），竟陵王刘诞于广陵起兵失败被杀，朝廷以兴宗奉旨慰劳当地，南兖州别驾范义在变乱中于城内被杀，因为兴宗与其交好，故兴宗到后亲自殡殓他，还丧至其豫章旧墓。不过孝武帝听闻此事后相当不满。庐陵内史周朗因正言而获罪，要被放到偏远的宁州，亲戚故友都不敢去送，但当值中的蔡兴宗竟心急地请求去送周朗，这更令孝武帝愤怒不已，以其多日托病为由让其白衣领职，后更贬他为司空沈庆之的长史，行兖州事，后转廷尉卿。
铨衡所寄.兴宗及后转任东阳太守，本将转任安陆王刘子绥的后军长史、