В січні 1944 року провів Кіровоградську операцію. Грандіозним успіхом Івана Конєва як полководця стала Корсунь-Шевченківська операція, в результаті якої було оточене та розгромлене велике угруповання противника. 20 лютого 1944 року за вмілу організацію і відмінне керівництво військами генерал армії Конєв отримав військове звання Маршал Радянського Союзу. 26 березня 1944 року під час успішного наступу (Умансько-Ботошанська операція) його війська першими в Червоній Армії перейшли державний кордон, вступивши на територію Румунії. У квітні — червні 1944 року війська 2-го Українського фронту під керівництвом Конєва брали участь у наступі на балканському напрямку. Однак цей наступ закінчився невдало: радянські війська зазнали великих втрат і були зупинені.