叛乱事件发生，孝武帝又想重申此事，刘义恭率先重提，但在怀文坚持之下，还是不成事。孝武帝又常常出游，并让太后及六宫乘另一车在后跟随，怀文及王景文都屡次劝谏他。又一次出游，怀文与景文都随行，二人坐在松树下休息，遇上骤来风雨，二人约好一同发言劝谏，一旁的江智渊亦同意。接着他们获召入雉场，怀文就称天气有变，劝孝武帝不要出猎，景文也附和，智渊还未说话，正在为弩加箭矢的孝武帝就说：「你想学颜竣吗？为甚么常理别人的事。」又说：「颜竣这小人，恨不得鞭他的脸！」而孝武帝所办的宴会都要令在席者都醉掉，但怀文向来都不饮酒，又