万人据有卞城（今山东泗水县东），成为一大边患。荀羡于是领兵到东阿讨伐，并阵斩慕容兰。荀羡担任徐州刺史时，正值后赵石虎逝世，诸子争位的北方混乱，荀羡在任内则招纳并安抚投降的北方人，很得众心。升平二年（358年），荀羡患病，但仍领兵讨伐并生擒前燕泰山太守贾坚并处死，不久被慕容尘派遣来的司马悦明打败，及后后因病重而征还。次年逝世，享年三十八岁，追赠骠骑将军。荀羡死后，晋穆帝感叹道：「荀令则、王敬和相继凋落，股肱腹心将复寄谁乎！」