，徐羡之怕荆州重地会因而外授他人，于是命谢晦为荆州刺史，图以其为外援。刘义隆即位后，进徐羡之为司徒，并改封南平郡公，食邑四千户，不过徐羡之坚决辞让封爵。元嘉二年（425年），徐羡之与傅亮三度上书请求归政，终获批准，并离职退归府第，但侄儿徐佩之与程道养及王韶之都认为这样并不恰当，苦劝之下终令徐羡之继续留掌朝事。时步兵校尉孔甯子厌恶徐羡之及傅亮专权，经常向刘义隆中伤二人，刘义隆于是在元嘉三年（426年）以废杀宋少帝及刘义真的罪名下诏将徐羡之、傅亮、谢晦等治罪，并召见徐羡之及傅亮。当时徐羡之走到西明门外，谢晦