巴山前往莫斯科治疗肾癌，但1952年1月26日死于莫斯科。得知乔巴山的死讯后，年迈的斯大林评论道：“他们一个接着一个死了。谢尔巴科夫、日丹诺夫、季米特洛夫、乔巴山……死的如此之快！我们必须把老医生换成新的。”在随后大清洗的医生案件中，乔巴山也被列为「克里姆林宫医生谋杀苏维埃领导人」的受害者之一，直到赫鲁晓夫上台之后才为这些御医平反。蒙古人普遍相信，斯大林被乔巴山顽固的民族主义和蒙古独立思想激怒，下令将他害死；克里姆林宫医生出于政治投机的动机将乔巴山毒死了。中华民国蒙藏委员会则认为，乔巴山是因为反对苏联压榨蒙