Gurko Kırım Savaşı'nda da görev yapmıştır. Ancak asıl şöhretini 93 Harbi'nde Osmanlı ordusuna karşı kazandığı başarıdan dolayı yapmıştır. 1877 yılının Temmuz ayında bir birlikle Tuna Nehrini geçerek Balkan Dağları üzerindeki Şipka Geçidi'ne ulaştı. 19 Temmuz 1877 tarihinde Süleyman Hüsnü Paşa'nın komutasındaki Osmanlı ordusunu yenerek Şıpka Geçidi'ni ele geçirdi. Osmanlılar 1877 yazı boyunca 2 defa Şıpka Geçidi'ni geri almak için taarruza geçtiler ama başarılı olamadılar. Şıpka Geçidi Muharebeleri adı verilen bu muharebeler sonbaharda çıkmazda kaldı. Sonunda 9 Ocak 1878 tarihinde taarruza geçen İosip Gurko Osmanlıları kesin bir yenilgiye uğrattı.