Ancak Alacadağ Muharebesi'nde komuta ettiği Osmanlı ordusu yenilince, Ahmed Muhtar Paşa ordusuyla Erzurum’a çekildi. Ruslara karşı çok daha az bir asker gücüyle savaşmasına rağmen Aziziye Tabyası'nda Rusları defalarca geri püskürtmeyi başardı. İstanbul'dan asker desteği istemesine rağmen asker yardımı alamayınca Kafkas ordusunu Bayburt'a çekmeye karar verdi.