През 1938 г. Ерьоменко е назначен за командир на 6-и кавалерийски корпус (част от 1-ва конна армия, дислоцирана в Беларус), който участва в нападението над Полша (като част от пакта Рибентроп-Молотов). Операцията се отличава с лошо командване и слаба организация. След капитулацията на Полша сменя няколко длъжности. Началото на операция „Барбароса“ го заварва като главнокомандващ на Трансбайкалския военен окръг.