Năm 1940, Yeryomenko được cử làm Tư lệnh Quân đoàn kỵ binh số 6 rồi Tư lệnh Quân khu Zabaikal cho đến khi quân Đức bắt đầu Chiến dịch Barbarossa tấn công Liên Xô tháng 6 năm 1941.