Tháng 4 năm 1919, Vasilevsky gia nhập Hồng quân, thoạt đầu chỉ huy 100 người chống lại quân phỉ và quân phiệt Kulak ở địa phương. Sau đó nhờ có uy tín nên ông dần trải qua các chức vụ Tiểu đoàn trưởng, Trung đoàn phó, Trung đoàn trưởng Hồng quân chiến đấu ở Mặt trận phía nam chống lại quân Bạch vệ Denikin. Mặt trận phía nam thắng lợi, tháng 12 ông được cử ra mặt trận phía Tây với cương vị phó chỉ huy trung đoàn 427 thuộc lữ đoàn 32 Hồng quân tham chiến trong Chiến tranh Nga - Ba Lan.