说：「颜竣这小人，恨不得鞭他的脸！」而孝武帝所办的宴会都要令在席者都醉掉，但怀文向来都不饮酒，又不爱戏乐，故孝武帝觉得怀文事事都故意与他作对。谢庄也曾劝诫怀文，但怀文认为他自少就这样，只是从本性而行，不想改变。大明五年（461年），怀文被调为晋安王刘子勋的征虏长史、广陵太守。大明六年（462年）新年时怀文回朝拜贺，本来就要回广陵，但他以女儿患病而请求延期，到该走时又再请多留三日，竟一直留着不走。这令怀文遭到弹劾，并被免官并禁锢十年。怀文见自己被免官了，就把屋宅卖了想回故乡处，但这触怒了孝武帝，将他收捕到