我们不理；至于以上的，应该一起作决定。」蔡廓知悉后就说：「我不可以为徐干木署纸尾呀。」选事的选案黄纸上要有吏部尚书及录尚书事的签名，故此蔡廓这样说，亦不肯拜官。徐羡之亦知其正直，不想他处在要职上，遂调他为祠部尚书。元嘉元年（424年），徐羡之、傅亮及谢晦共废宋少帝为营阳王，改立宜都王刘义隆为帝，即宋文帝。当时傅亮带着群僚去荆州迎文帝到建康，蔡廓亦有随行，但到寻阳时就因病而不能前进，但傅亮还是要继续行程，于是临行前就找他道别，蔡廓就对他说：「营阳王在吴郡应该要厚加供奉。若果营阳王不幸离世，你们都会有弒主的