Васиљевски је започео војну каријеру током Првог светског рата, дошавши до чина капетана до 1917. Почетком Октобарске револуције и Руског грађанског рата, је постао члан Црвене армије и учествовао је у Пољско-совјетском рату. Након рата је брзо напредовао кроз чинове, поставши командир пука до 1930. године. На овој позицији је показао велику вештину у организацији и тренирању трупа, што није прошло незапажено, и 1931. је постављен за члана Директората за војнички тренинг. Године 1937, након Стаљинове Велике чистке, унапређен је у генералштабног официра.