为大事已成，全皆松懈起来，且又因大风，桓玄死后差不多十日，各军都未及到达江陵，于是被桓玄堂侄桓振有机可乘，袭取江陵，并劫夺了晋安帝。何无忌等进攻但败于桓振，刘毅唯有率诸军退屯寻阳。刘毅因失江陵而被免官，但不久就再受命督何无忌等进攻桓振等，并进至夏口。当时桓谦将冯该驻军东岸，分据鲁山城和偃月垒，互相支援。刘毅于是与何无忌、刘道规领兵分别进攻二城，在数小时战斗后攻陷二城，冯该亦退走石城。十二月，刘毅佔领巴陵，刘毅部队严肃整齐，经过地方时不会令百姓感到困扰，刘裕就以刘毅为兖州刺史。义熙元年（405年）正月，刘