文帝新死而劝止了刘诞建内斋的计划。后转扬州治中从事史。孝建元年（454年），扬州刺史刘义恭为迎合孝武帝而建议废除录尚书一职，怀文引用古典以反对废除此总属之职，但不获接纳。后转扬州别驾从事史。孝建三年（456年），义恭解扬州刺史，让予孝武帝爱子西阳王刘子尚，怀文仍留扬州。当时发生了荧惑守南斗的天象，孝武帝为免爱子应灾，将扬州治所由原来的西州迁到东府城，怀文认为应该以德政应天象变异，而非空置西州府城，但不被接纳，西州亦空置。大明二年（458年），怀文转任尚书吏部郎，当时朝廷仍在因为天象变异而议论模仿古制以扬