刘怀肃就以刘道规司马的身份随军。四月，留守江州的桓玄部将何澹之等人遭刘毅等击败，刘毅等人于是继续追击走到荆州的桓玄。五月，桓玄与刘毅等于峥嵘洲决战，其时桓玄部部将刘统及冯稚等袭击寻阳（今江西九江市），刘毅于是派刘怀肃率军讨伐，事平后任高平太守。同年，桓振据江陵（今湖北江陵县）继续抗晋，刘毅等兵败，被逼退还寻阳。不久，刘怀肃随刘毅等再度进攻，攻陷了桓楚所据守的鲁山城及偃月垒，桓楚将领冯该败退至石城（今湖北钟祥）。义熙元年（405年），刘毅等攻陷江陵，桓振出走涢川，刘怀肃则在石城击斩败逃的冯该。三月，桓振从