司马元显后削夺其军权，令刘牢之再图叛变，却被僚属指责他「一人三反，何以自立」，他在得不到僚属支持之下打算带家属北走广陵，却因以为家属被桓玄所杀而在路上自杀。
生平.
北府军团.太元二年（377年），谢玄就任兖州刺史，镇守广陵。鑑于北方前秦的军事威胁，谢玄就大肆招募兵勇，刘牢之与孙无终、何谦等人都以骁勇而获选，并得谢玄任用为其参军，率领精兵作为前锋。太元四年（379年）前秦将领俱难南侵，攻陷淮阴；不久再与彭超、毛当等进攻淮南，攻陷盱眙并围困离广陵仅百里的三阿，震