В ноябре 1941 года назначен на должность командира запасного артиллерийского полка в составе Южного фронта, в феврале 1942 года — на должность командира 81-го гаубичного артиллерийского полка РГК, а 23 июня 1942 года — на должность заместителя командира по артиллерии — начальника артиллерии 4-й стрелковой дивизии, после чего принимал участие в боевых действиях в ходе Воронежско-Ворошиловградской и Донбасской оборонительных операций, а с конца июля — на туапсинском направлении, где в течение 25 дней находился в окружении. В конце августа дивизия была расформирована, а Ковалёв назначен на эту же должность в 248-й стрелковой дивизии, которая во время Сталинградской битвы оборонялась на рубеже Внешнего Астраханского обвода, а 6 ноября перешла в наступление по направлению на Элиста, Ленинск, Приютное, в результате чего к 4 января 1943 года вышла к р. Маныч. Вскоре дивизия участвовала в боевых действиях в ходе Северо-Кавказской и Ростовской наступательных операций. Со 2 февраля 1943 года Иван Данилович Ковалёв исполнял должность командира 248-й стрелковой дивизии, которая во время Ростовской операции 7 февраля освободила Батайск, а 14 февраля — Ростов-на-Дону. После возвращения полковника Н. З. Галая на должность командира дивизии Ковалёв 28 апреля 1943 года вернулся на прежнюю должность начальника артиллерии. Вскоре дивизия принимала участие в боевых действиях в ходе Донбасской, Мелитопольской, Никопольско-Криворожской и Одесской наступательных операций.