推辞，认为自己不是将帅之才；郗鉴也上表认为羊鑑不是将帅之才，不能委派，王导不听。秋季，八月，任羊鑑为征虏将军、征讨都督，带领徐州刺史蔡豹、临淮太守刘遐、鲜卑部段文鸯等讨伐徐龛。太兴三年（公元320年），羊鉴顿兵下邳不前，蔡豹在檀丘击败徐龛，徐龛败后向后赵请求援兵，后赵王石勒派王伏都及张敬支援徐龛。但徐龛因受不住石勒要求太多加上王伏都的淫乱暴行，就杀了王伏都向东晋请降。元帝因厌恶徐龛反覆不定，于是不接受其投降，命羊鉴和蔡豹进兵讨伐。羊鉴因怯惧而不肯前进。尚书令刁协上疏弹劾羊鑑，敕令免除职务，饶其不死，蔡豹