中、司徒。但蔡谟坚持辞让，即使临朝的皇太后褚蒜子下诏不许，蔡谟仍辞让，更向人说：「我若为司徒，将为后代所晒，义不敢拜也。」诏命连续下达整整一年，蔡谟仍不受。永和六年（350年），蔡谟更上表求退，要送呈左光禄大夫及领司徒的印绶。后穆帝临轩征召蔡谟，蔡谟竟派主簿谢攸回报，不肯奉诏。穆帝即使由朝到晚派了使者往返十多回，而蔡谟都不至，更令年仅八岁的穆帝等得不耐烦。皇太后唯有罢朝不等。司马昱于是下令尚书曹，指蔡谟无人臣之礼。公卿亦因而上拜弹劾蔡谟，要将他送交廷尉。蔡谟畏惧，于是率子弟到廷尉请罪，最终皇太后下诏将蔡谟废