Vasilevsky bắt đầu cuộc đời binh nghiệp từ Chiến tranh thế giới thứ nhất, đến năm 1917, ông mang quân hàm Đại úy. Ngay từ sau Cách mạng tháng Mười 1917, Vasilevsky đã gia nhập Hồng quân và tham gia Chiến tranh Nga - Ba Lan. Từ năm 1930, ông đã là chỉ huy trung đoàn và thể hiện kỹ năng tổ chức và huấn luyện quân đội rất tốt. Từ năm 1937, Vasilevsky bắt đầu làm việc tại Bộ Tổng tham mưu Hồng quân.