得对方亲待。后来东阳公主去世，太子刘劭为了留住婢女王鹦鹉，于是将她嫁给怀远做妾。但其实王鹦鹉参与了太子巫蛊之事，事件被揭发后触发了刘劭弒父夺位之事。元嘉三十年（453年）宋孝武帝消灭了刘劭登位后，追究了沈怀远纳王鹦鹉为妾的事，将他流放到广州，并命广州刺史宗悫在南方杀了他。孝建元年（454年），南郡王刘义宣起兵反对孝武帝，宗悫起兵支持孝武帝，以沈怀远有文笔而让他写檄书，又派他到始兴郡与始兴相沈法系讨论起兵对抗制义宣等事。同年，刘义宣被平定，宗悫特意为怀远求情，故怀远得以不死，但终孝武帝一朝都未得迁还家乡。孝武