宋文帝已经在想身故后的事务，正因王僧绰年轻，就想委以大任，故此朝中大小事务都让王僧绰参兴。堂兄王微怕王僧绰权势太盛，于是劝他削弱自己的权势。王僧绰于是曾自求外任吴郡太守及广州刺史，但都遭宋文帝拒绝。元嘉二十九年（452年），太子刘劭与始兴王刘濬等人行巫蛊之事被揭发，宋文帝先召王僧绰商讨，至决定废黜太子及始兴王后就命王僧绰翻查以往废太子及诸王的旧事作参考。其时刘劭打算作乱，在东宫为将士设宴，王僧绰亦秘密报告宋文帝。搜集好昔日废立之事后，江湛及徐湛之亦知宋文帝要废太子，于是分别推荐自己的女婿南平王刘铄及随王