两緜亦要三四百，贫穷者为了应付逼得要卖妻儿甚至自杀，怀文为他们进言，让朝廷将征收量稍作减省，但后来又恢复原状。时孝武诸子都自置邸舍并买卖以获利，为患天下，怀文建议减省不必要的邸舍，又不获听从。而孝武帝猜忌诸弟，在诛杀刘诞后更加想加重科律拑制他们，怀文引汉明帝不让诸子与兄弟们比较而得为美谈一事，建议孝武帝仿效周公旦之对唐叔虞及衞康叔。大明五年（461年），海陵王刘休茂叛乱事件发生，孝武帝又想重申此事，刘义恭率先重提，但在怀文坚持之下，还是不成事。孝武帝又常常出游，并让太后及六宫乘另一车在后跟随，怀文及王景