Sau khi Đức bắt đầu cuộc xâm lược vào Liên Xô vào tháng 6 năm 1941, Yepishev trở thành người chịu trách nhiệm chỉ đạo nỗ lực chiến tranh trong khu vực: ông huy động lực lượng dân quân Kharkov, trong đó ông là chính ủy, và tổ chức du kích. Tháng 10 năm 1941, ngay trước khi thành phố rơi vào tay kẻ thù, ông được sơ tán đến Ural, nơi ông được bổ nhiệm làm bí thư thứ nhất của thành ủy Nizhny Tagil, và do đó chịu trách nhiệm xây dựng lại các nhà máy vũ khí được chuyển từ mặt trận.