肃知道刘裕将于京口（今江苏镇江）起兵讨伐篡位的桓玄，于是弃县走到京口与其一同起事。同年三月，刘裕攻下建康，桓玄出逃江州，刘毅与刘道规及何无忌领兵追击，刘怀肃就以刘道规司马的身份随军。四月，留守江州的桓玄部将何澹之等人遭刘毅等击败，刘毅等人于是继续追击走到荆州的桓玄。五月，桓玄与刘毅等于峥嵘洲决战，其时桓玄部部将刘统及冯稚等袭击寻阳（今江西九江市），刘毅于是派刘怀肃率军讨伐，事平后任高平太守。同年，桓振据江陵（今湖北江陵县）继续抗晋，刘毅等兵败，被逼退还寻阳。不久，刘怀肃随刘毅等再度进攻，攻陷了桓楚所据守