Великую Отечественную войну начал старшим лейтенантом, первым помощником начальника штаба 594-го пушечного артиллерийского полка АРГК 4 октября 1941 года. В конце октября 1941 года был назначен командиром 2-го дивизиона этого же полка. В этой должности участвовал в Харьковской оборонительной операции, Курско-Обоянской операции, второй харьковской битве, Донбасской оборонительной операции, сражении у разъезда 74-й километр и боях на подступах к Сталинграду. За это время дивизион под командованием капитана Ярёменко, уничтожил 27 и подбил 19 танков, уничтожил 13 и подавил 11 артбатарей, а также уничтожил более 4 тысяч фашистов.