Aleksandr Vasilevskij startet sin militære karriere i Den keiserlige russiske hær under første verdenskrig, i 1917 hadde han nådd graden kaptein. I begynnelsen av oktoberrevolusjonen ble han med i Den røde armé og deltok i borgerkrigen og den polsk-sovjetiske krig. Etter borgerkrigen steg han raskt i gradene og fikk kommando over et regiment i 1930. I denne stillingen viste han store kunnskaper i organiseringen og treningen av sine tropper. Vasiljevskijs evner ble lagt merke til og i 1931 ble han medlem av direktoratet for militær trening. I 1937 ble han forfremmet til generalstaben.