Fue jefe del Estado Mayor General y viceministro de Defensa durante la Segunda Guerra Mundial, así como ministro de Defensa de 1949 a 1953. Como jefe del Estado Mayor, Vasilevski se encargó de la planificación y coordinación de casi todas las ofensivas soviéticas más decisivas, desde la contraofensiva en Stalingrado al asalto a Prusia Oriental y Königsberg.