武帝再不听前东扬州刺史颜竣及中军录事参军周朗分别因失宠有怨言以及出言忤逆孝武帝而获罪，其中颜竣更在刘诞反叛后被杀，怀文与二人皆亲好，颜竣被诛后，孝武帝对怀文说：「颜竣若果知道我会杀他，应当不敢这样。」怀文当时沉默不语。后来除夕时怀文与谢庄、王景文及颜师伯同获敕令入宫，未得进见时景文在言谈间就称美颜、周二人的才能，怀文也附和他，但这些对话后来都被颜师伯一一告知孝武帝，令得他对多次说出不中听建言的怀文倍见感不满。后孝武帝征命各郡士族人士担任将吏，但他们都不肯服役，到后都逃亡，即使孝武帝亲下命令也阻不了他们。