打算讨伐，但快将出发时就患病，及至病愈，刚灭南燕并正归来的刘裕写信来劝止刘毅，要刘毅等他回来后才出兵，并允诺事成后以长江上游要地交给他统领；刘裕又派了刘毅堂弟刘藩去劝止刘毅。刘毅听后却大怒，自认为自己才能不在刘裕以下，于是领两万水军从姑孰出发。卢循部将徐道覆知刘毅出兵，决定与决战，于是与卢循联兵东下。五月戊午日（6月24日）两军在桑落洲大战，刘毅兵败弃船，率数百人步行逃走，其余兵众皆被卢循所俘，弃掉的辎重器材堆积如山。当时刘毅逃走时经过蛮族的地方，七、八成的人在路上因饥饿困顿而死，刘毅亦因参军羊邃的竭力保护