Trong Chiến tranh Vệ quốc vĩ đại, Vasilevsky nhận nhiệm vụ phối hợp và thực hiện nhiều chiến dịch tấn công của Hồng quân ở vùng thượng Sông Đông, Donbass, Krym, Belarus và các nước vùng Biển Baltic, kết thúc là chiến dịch giải phóng Königsberg tháng 4 năm 1945. Từ tháng 7 năm 1945, ông là Tư lệnh các lực lượng vũ trang Xô viết tại Viễn Đông và thực hiện Chiến dịch Mãn Châu Lý, ông cũng là người nhận sự đầu hàng của quân đội Nhật Bản sau chiến dịch này.