На почетку Првог светског рата, додељена му је команда над Другом армијом, која је по првобитном плану требало да буде послата на Српски фронт, али због лоше процене темпа мобилизације Руске војске, Ермоли је пребачен на Источни фронт. У комбинацији са немачким снагама, Друга аустријска армија је успела да заустави руско напредовање. Друга армија је 1915. године послана на Карпате да ослободе опкољену тврђаву у Пшемислу. Након борби, тврђава није била спашена и пала је под Руску контролу. Јединице под Ермолијевом командом су 22. јуна ослободиле Лемберг. Ермоли је командовао Другом армијом до краја рата, а истовремено је командовао армијском групом Бем-Ермоли, након Брусиловљеве офанзиве.