表现无礼，常与身边的人十分亲密，游乐无度。当时特进范泰曾写书劝谏，但刘义符不听。而谢晦早年见刘义符身边的都是小人，就曾向刘裕表示刘义符不是继承宋室的人选，徐羡之、傅亮及谢晦最终在景平二年（424年）谋废刘义符，并召江州刺史王弘及南兖州刺史檀道济入朝，命中书舍人邢安泰及潘盛为内应，然后让皇太后下令废刘义符为营阳王。那天早上，谢晦、檀道济及徐羡之领兵自云龙门入宫，其时潘盛已经撤去宿衞军队，故此无人阻拦谢晦等军。而刘义符那时在华林园设下市场，并亲身去卖物；又开了水道，前一天和身边亲近乘船高歌大叫，并游玩到天渊池后