В дальнейшем Евгений Николаевич участвовал в Киевской оборонительной операции и освобождении Правобережной Украины (Житомирско-Бердичевская, Корсунь-Шевченковская и Проскуровско-Черновицкая операции). К лету 1944 года он прошёл путь от младшего лейтенанта до старшего лейтенанта и был назначен на должность адъютанта старшего 3-го стрелкового батальона. В ходе Львовско-Сандомирской и Восточно-Карпатской операций в августе-сентябре 1944 года старший лейтенант Полтавский, непосредственно находясь в составе передовых рот, непрерывно организовывал разведку и предоставлял командованию ценные сведения. В бою за населённый пункт Глинна 19 июля 1944 года благодаря инициативе Е. Н. Полтавского и умелой организации 3-й стрелковый батальон 465-го стрелкового полка без потерь форсировал реку Стрыпа, после чего совместно с другими батальонами полка освободил населённый пункт. 26 июля 1944 года в бою за населённый пункт Конюшки Евгений Николаевич лично руководил отражением нескольких контратак противника. Когда 14 сентября 1944 года в Карпатах батальон попал в окружение, в критический момент боя старший лейтенант Полтавский поднял бойцов в атаку. В бою было уничтожено до взвода вражеской пехоты и ещё до роты немцев было рассеяно, после чего батальон вышел из окружения и соединился с основными силами полка.