7 мая 1946 года назначен на должность министра государственной безопасности СССР, сменив на этом посту В. Н. Меркулова. СМЕРШ, в котором до этого служил Абакумов, вошёл в министерство в качестве 3-го Управления. На посту министра государственной безопасности руководил политическими репрессиями. Под его руководством было проведено «Ленинградское дело» и положено начало Делу Еврейского антифашистского комитета. Сигналом для разгрома ЕАК стало убийство Соломона Михоэлса офицерами МГБ СССР по личному указанию В. С. Абакумова.