Vasilievskij sa zúčastnil na riadení bojových operácií od prvého dňa bojov na východnom fronte. 1. augusta 1941, bol teraz už v hodnosti genrálmajora vymenovaný za náčelníka Operačného oddelenia Generálneho štábu. Od 5. do 10. októbra počas bitky o Moskvu bol ako jeden z poverených Štátnym výborom obrany zabezpečoval čo najskoršie nasadenie ustupujúcich alebo z obkľúčenia sa prebojuvších vojsk na Možajskú obrannú líniu. V polovici októbra zabezpečoval styk STAVKY hlavného veliteľstva s evakuovaným Generálnym štábom. 28. októbra 1941 bol Vasilevskij povýšený na generálporučíka. Už v tejto kritickej dobe bol považovaný za výborného vojenského experta. Od polovice apríla do 8. mája 1942 sa ako člen STAVKY nachádzal na Severozápadnom fronte, kde sa podieľal na neúspešnej Demianskej operácii. Od 24. apríla 1942 z dôvodu ťažkej choroby B. M. Šapošnikova vykonával taktiež funkciu náčelníka Generálneho štábu. 26. apríla bol povýšený do hodnosti generálplukovníka. V nasledujúcich dňoch boli jednotky Červenej armády obkľúčené pri Charkove. Nasledoval úspešný nemecký postup na Stalingrad. 9. mája 1942 bol v dôsledku nemeckého prielomu krymského frontu odvolaný do Moskvy. V júli 1942 bol prevelený na volchovský front, kde mal riadiť spolu s Mercekovom v Maloj Višere 2. údernú armádu generála Andreja Vlasova pri prieniku z obkľúčenia.