州西曹，江夏王刘义恭的司空行参军、司徒参军事及司徒东合祭酒。后来怀文父亲丧去世，新安郡送来了很丰厚的财物协助治丧，然而到了丧事完了后怀文都将用剩的分给亲戚，没留下给自己，宋文帝对此相当欣赏，特赐其六个奴婢。守丧期过后，怀文除尚书殿中郎。后出任雍州刺史随王刘诞的后军主簿，与后军谘议参军谢庄共掌辞令，兼领义成太守。元嘉二十八年（451年），刘诞转镇广州，本想让怀文随府转为安南记室，但先除通直郎的怀文一直辞让这个南赴之职，令文帝不高兴。元嘉三十年（453年），怀文弟沈怀远卷入了太子刘劭的巫蛊之事，大怒的文帝因