刘诞转镇广州，本想让怀文随府转为安南记室，但先除通直郎的怀文一直辞让这个南赴之职，令文帝不高兴。元嘉三十年（453年），怀文弟沈怀远卷入了太子刘劭的巫蛊之事，大怒的文帝因而与怀文有所不合，转治书侍御史。同年刘劭弒文帝继位，以怀文为中书侍郎，不久武陵王刘骏自江州起兵讨伐怀文，刘劭遂命令怀文写官符檄文以征召兵力对付刘骏，但怀文不肯，令得刘劭大怒，只因一旁的殷沖救援才得免死。后来沈怀文投奔刘骏，做了已改封竟陵王的刘诞的衞军记室参军、新兴太守。后随转骠骑录事参军、淮南太守，当时怀文就以文帝新死而劝止了刘诞建内斋