После провала выступления ГКЧП и последовавшей отставки правительства СССР новое союзное руководство было сформировано из членов российского правительства. Указом от 23 августа 1991 года президент СССР Михаил Горбачев назначил Баранникова министром внутренних дел СССР и внёс данное решение на рассмотрение сессии Верховного Совета СССР. 29 августа 1991 года Верховный Совет СССР согласно пункту 3 статьи 113 Конституции СССР утвердил назначение Баранникова главой союзного МВД. Таким образом, Баранников стал последним главой МВД СССР. 5 сентября ему было присвоено воинское звание генерал-полковника. Некоторое время он совмещал руководство союзным и российским министерствами, потом указом от 13 сентября 1991 года был освобожден от поста в правительстве РСФСР, который занял его заместитель А. Ф. Дунаев.