Durante el intento de golpe de Estado del 19 al 21 de agosto de 1991, sugirió al ministro de Defensa de la Unión Soviética Dmitri Yázov que retirase sus tropas de Moscú y dispersara el recién creado Comité Estatal para el Estado de Emergencia. El 23 de agosto de 1991, después del fracaso del Comité, el presidente Gorbachov firmó un decreto por el que se nombraba a Sháposhnikov ministro de Defensa de la URSS y presentaba esta decisión a la sesión del Soviet Supremo de la Unión Soviética. El 29 de agosto, dicho estamento, de conformidad con el párrafo 3 del artículo 113 de la Constitución de la Unión Soviética, refrendó su nombramiento.