Ved Tysklands angrep på Sovjetunionen i 1941 arbeidet Vasiljevskij med koordineringen av Moskvas forsvar og med motangrepet i desember 1941. Videre under krigen på østfronten var han aktiv i koordinering og utføring av en rekke av de større sovjetiske felttogene. I juli 1945 ble han utnevnt til øverstkommanderende for de sovjetiske styrkene i Det fjerne østen, og var med og mottok Japans kapitulasjon. Etter krigen ble han forsvarsminister, en stilling han holdt til Stalins død i 1953. Ved Nikita Khrusjtsjovs overtakelse av lederskapet ble Vasilevskij tilsidesatt og pensjonert.