惑守南斗的天象，孝武帝为免爱子应灾，将扬州治所由原来的西州迁到东府城，怀文认为应该以德政应天象变异，而非空置西州府城，但不被接纳，西州亦空置。大明二年（458年），怀文转任尚书吏部郎，当时朝廷仍在因为天象变异而议论模仿古制以扬州设立王畿，而将治会稽郡的东扬州设为扬州，怀文认为这些设置都该因时制宜，只要民心安定，不必要事事追从古例，而且扬州已是多代沿置，不像边州那样时罢时置，改设王畿会有反效果，故反对建议，但又不获听从。大明三年（459年），子尚以扬州刺史移镇会稽，怀文随府转为抚军长史，行府州事。当时州内扣押