In 1914 kreeg hij het bevel over het Russisch leger aan het zuidwestelijke front, verantwoordelijk voor vele operaties in Galicië. Ivanov bracht de Oostenrijkers een nederlaag toe in de Slag bij Lemberg in augustus 1914, en een maand later dreef hij het Oostenrijkse-Hongaarse leger 160 kilometer terug de Karpaten in. De Oostenrijkse vesting van Przemyśl werd volledig ingesloten, en er werden 300.000 slachtoffers gemaakt.