时孝武诸子都自置邸舍并买卖以获利，为患天下，怀文建议减省不必要的邸舍，又不获听从。而孝武帝猜忌诸弟，在诛杀刘诞后更加想加重科律拑制他们，怀文引汉明帝不让诸子与兄弟们比较而得为美谈一事，建议孝武帝仿效周公旦之对唐叔虞及衞康叔。大明五年（461年），海陵王刘休茂叛乱事件发生，孝武帝又想重申此事，刘义恭率先重提，但在怀文坚持之下，还是不成事。孝武帝又常常出游，并让太后及六宫乘另一车在后跟随，怀文及王景文都屡次劝谏他。又一次出游，怀文与景文都随行，二人坐在松树下休息，遇上骤来风雨，二人约好一同发言劝谏，一旁的江