仍然瞋目奋战，重建军中士气，得与桓振相持不下。同时刘毅派了唐兴前来协助，刘怀肃部众于是争先进击，终斩杀酒醉中的桓振，成功收复江陵。及后进号辅国将军、淮南历阳二郡太守。义熙二年（406年），刘怀肃加领抚军司马，又因举义讨伐桓玄的功勋而封东兴县侯。同年桓石绥与司马国璠及陈袭聚众于胡桃山反抗晋朝，刘怀肃于是率兵击败他们。其时刘怀肃又以江淮之间蛮族以及桓楚余众作乱而自请讨伐，但因成效不彰而受刘毅弹劾。刘怀肃于义熙三年（407年）去世，朝廷追赠左将军。因无子而由侄儿刘蔚祖继嗣。