感觉他负气，改喊蔡尚书，蔡撙放下筷子拿起执笏板，回答：“尔。”武帝问：“卿刚才怎么聋了，现在又怎么听见了？”他回答：“臣预为右戚，且职在纳言，陛下不应以名垂唤。”武帝有惭愧之色。再任侍中，兼秘书监。转任中书令，侍中如故。普通二年（521年）出任宣毅将军、吴郡太守。普通四年（523年）蔡撙去世。享年五十七岁。追赠侍中、金紫光禄大夫、宣惠将军。谥康子。其子蔡彦熙，历任中书郎、宣城郡内史。女蔡氏为南朝梁太子萧统正妃。