Vid det tyska anfallet på Sovjetunionen i juni 1941 arbetade han vid generalstaben och blev snart en av nyckelfigurerna i den sovjetiska militära ledningen. Den 24 april 1942 efterträdde han Boris Sjaposjnikov som tillförordnad generalstabschef, en post som han övertog definitivt 26 juni samma år. Mot slutet av året koordinerade han Operation Uranus, den offensiv som ledde till inneslutningen av de tyska styrkorna i Stalingrad. Han utnämndes till marskalk av Sovjetunionen 1943. Under slaget vid Kursk fungerade han som Zjukovs närmaste man. Vid Operation Bagration på sommaren 1944 förde han befäl över och , och övertog senare befälet över samtliga sovjetiska trupper i Baltikum. På våren 1945 utnämndes han till befälhavare över inför invasionen av Ostpreussen, samtidigt som han efterträddes som generalstadschef av Aleksej Antonov. Vasilevskij förde befälet vid stormningen av Königsberg och var den som mottog den tyske befälhavaren Otto Laschs kapitulation. Vasilevskij belönades med leninorden åtta gånger. Efter Tysklands kapitulation blev Vasilevskij högste befälhavare i Fjärran östern.