В боях под Аладжей с 20 сентября он принимал видное участие, а 3 октября овладел Авлияром, одним из важнейших пунктов неприятельской позиции, и тем содействовал поражению турецкой армии в Авлияр-Аладжинском сражении. 5 октября Гейман возобновил блокаду Карса. Посланный 10 октября с особым отрядом для преследования Ахмед Мухтар-паши, Гейман не смог догнать его и помешать соединиться с Измаилом-пашой. Поход этот представлял чрезвычайные трудности по бездорожью и крайней пересеченности местности. В течение 7 1/2 дней войска Геймана прошли 174 версты. Соединившись 16 октября с отрядом Тергукасова, Гейман занял с боя Гасан-Кала. 23 октября он атаковал Мухтара-пашу и Измаила-пашу на позиций у Деве-Бойну, на Эрзерумской дороге, и нанёс им поражение, но замедлил преследованием и тем дал туркам время опомниться, вследствие чего не удался ему штурм Эрзерумских укреплений в ночь на 29 октября. Гейман решил было тотчас повторить штурм, но отказался от этой мысли по недостатку снарядов, крайнему утомлению людей и начинавшейся среди них болезненности.