心脏病发作去世，葬于莫斯科红场克里姆林宫墙下，赫鲁晓夫在自己的回忆录中认为他是为了讨好斯大林过量饮酒所致。谢尔巴科夫共获得列宁勋章3枚，一级苏沃洛夫勋章、一级库图佐夫勋章和一级卫国战争勋章各1枚，奖章多枚。谢尔巴科夫的姐夫是列宁格勒第一书记安德烈·亚历山德罗维奇·日丹诺夫，大儿子亚历山大·谢尔巴科夫是米高扬设计局的功勋试飞员兼高级工程师，苏联英雄，小儿子伊万·谢尔巴科夫成为了物理学家，俄罗斯科学院院士。