呈左光禄大夫及领司徒的印绶。后穆帝临轩征召蔡谟，蔡谟竟派主簿谢攸回报，不肯奉诏。穆帝即使由朝到晚派了使者往返十多回，而蔡谟都不至，更令年仅八岁的穆帝等得不耐烦。皇太后唯有罢朝不等。司马昱于是下令尚书曹，指蔡谟无人臣之礼。公卿亦因而上拜弹劾蔡谟，要将他送交廷尉。蔡谟畏惧，于是率子弟到廷尉请罪，最终皇太后下诏将蔡谟废为庶人。蔡谟被废后，终日在家里讲诵，教授子弟而不出门。数年后皇太后下诏任命蔡谟为光禄大夫、开府仪同三司。蔡谟上表陈谢，但却以患病为由不再入朝。朝廷亦没有逼令，更赐几杖及让蔡谟门前施放行马。永和十