子吴氏要求赎还母子共五人。吴氏背约不肯归还。杨元孙就上诉，蔡撙判归杨元孙。吴氏会巫术，贿赂蔡撙的妾室，蔡撙再判吴氏获胜。杨元孙击登闻鼓上告，蔡撙被有司弹劾。蔡撙因为事件连座左迁太子中庶子，引以为耻，不再谈钱。再任侍中，出任吴兴郡（治今浙江湖州）太守。天监九年（510年），宣城郡郡吏吴承伯聚集祅教信徒攻打宣城郡，杀害太守朱僧勇。吴承伯转攻旁县，翻过山攻打吴兴郡，聚集二万人，袭撃郡城。吴兴郡军民不习兵革，吏民因恐慌逃散，并请蔡撙避难。蔡撙坚守不动，召募勇敢人物固守郡城。蔡撙命人抗击吴承伯，在郡城城门作战，击