В мае 1915 года корпусу Ирманова предстояло сорвать наступательную операцию немецких войск в Карпатах (Горлицкий прорыв), однако в условиях полнейшего отсутствия снарядов русская артиллерия ничего не могла противопоставить немецкой. Корпус неоднократно вступал в штыковые атаки, в которых принимал участие и сам Ирманов, но был вынужден отступать. Под угрозой окружения оказалось ещё два армейских корпуса, и Ирманов, как наиболее опытный генерал, возглавил отступление русских частей. Тогда же он познакомился с кавалерийским офицером А. Г. Шкуро и назначил его командиром партизанского отряда при корпусе.