帝刘子业即位后，昏聩残暴，想杀掉刘昶。景和元年（465年），刘昶抛弃墓妻，携妾吴氏等二十多人北逃北魏。谢太妃被废为庶人。宋明帝即位，下诏：“晋熙国太妃谢氏，沈刻无亲，物理罕比，骨肉至亲，尚相弃蔑，况以义合，免苦爲难。可还其本家，削绝蕃秩。”改谢氏爲射氏。元徽二年（474年），恢复谢氏为晋熙国太妃。