首级堆放在石头南岸，称为髑髅山。怀文试图谏止，但不获接受。扬州移治会稽后造成浙东人心不稳，这令孝武帝很不满，打算削减其劳禄，但无关西州旧人。怀文认为扬州徙治本身已经逆民情而行，而现在同州却有不同对待，更是失大体，反对这行为，但孝武帝再不听前东扬州刺史颜竣及中军录事参军周朗分别因失宠有怨言以及出言忤逆孝武帝而获罪，其中颜竣更在刘诞反叛后被杀，怀文与二人皆亲好，颜竣被诛后，孝武帝对怀文说：「颜竣若果知道我会杀他，应当不敢这样。」怀文当时沉默不语。后来除夕时怀文与谢庄、王景文及颜师伯同获敕令入宫，未得进见时景