Doctors' plot
Am 4. Juli 1951 wurde er seines Amtes enthoben, wenig später verhaftet, von Michail Rjumin beschuldigt, er habe sich gegenüber der Ärzteverschwörung passiv verhalten und deswegen zum Tod verurteilt. Das Urteil wurde zu Lebzeiten Stalins gefällt und nach dessen Tod vollstreckt, weil Abakumow mit seinen Säuberungen während der Leningrader Affäre den Tod vieler Partei-Funktionäre verursacht hatte. Gemäß dem Urteil eines Militärgerichtes wurde er am 19. Dezember 1954 erschossen.