Во время Первой мировой войны 19 июля 1914 — 17 марта 1916 года — главнокомандующий армиями Юго-Западного Фронта. Под его командованием в августе-сентябре 1914 года русские войска одержали крупную победу в Галицийской битве, австро-венгерская армия потеряла человек, в том числе пленными, потери же русских войск составили Русские войска заняли всю Галицию. За успехи фронта был награждён орденом Святого Георгия 2-й степени и орденом Святого Владимира 1-й степени с мечами. В начале Варшавско-Ивангородской операции командовал всеми русским войсками, участвовавшими в ней, но 30 сентября передал Варшавское направление (2-я и 5-я армии) в состав Северо-Западного фронта генерала Н. В. Рузского. В ноябре провёл Краковскую операцию, которая развивалась успешно, но приказ об отступлении, отданный генералом Рузским, сорвал наметившийся успех. В декабре войска Иванова — 3-я, 4-я, 8-я и 9-я армии в боях в Галиции и на Карпатских перевалах захватили 50 тысяч пленных.