Sháposhnikov planeó la invasión de Finlandia en 1940, pero fue mucho menos optimista sobre su duración que Stalin y el comandante de la campaña Kliment Voroshílov. La Guerra de Invierno no se convirtió en el éxito esperado por la parte soviética, y Sháposhnikov renunció como Jefe del Estado Mayor en agosto de 1940, debido a problemas de salud y a desacuerdos con Stalin sobre la dirección de esta campaña. En el momento de la invasión alemana, fue reintegrado como Jefe del Estado Mayor General para suceder a Gueorgui Zhúkov, y también se convirtió en , puesto que ocupó hasta que su carrera fue interrumpida por problemas de salud en 1943. Renunció nuevamente como Jefe del Estado Mayor debido a su mala salud el 10 de mayo de 1942. Ocupó el cargo de comandante de la Academia Militar Voroshílov hasta su muerte en 1945. Sháposhnikov había preparado a su sucesor, Aleksandr Vasilevski, y siguió siendo un asesor influyente y respetado de Stalin hasta su muerte.