但是医生的两次会诊都认为他应该手术。他认为不用手术，但是斯大林坚持让他去做手术，说这可以“一劳永逸”地摆脱胃溃疡。手术开始后医生果然发现没有必要手术，因为没有发现任何溃疡。但是由于伏龙芝的心脏承受不了因麻醉效果不好而增加一倍的氯仿的剂量（当时已有更好的药乙醚但没有给他使用），他在手术30个小时后死于心脏麻痹。当时斯大林正进行反托洛茨基派的斗争，而伏龙芝接替了托洛茨基的军队职务。伏龙芝死后，接替他被任命为陆海军人民委员的是斯大林的亲信伏罗希洛夫。
影响.其着作编成《伏龙芝选集》各卷出