Iosif Gurko ble offiser ved kavaleriet i 1846, og ble forfremmet til løytnant i 1857. Han var tsar Aleksander IIs adjutant i 1860, og ble forfremmet til oberst i 1861. I 1863 var han med på å slå ned et opprør i Polen, og i 1866 ble han utnevnt til kommandør av et husarregiment. Han ble generalmajor i 1867, og hadde kommandoen over ulike av keisergardens enheter i årene 1868-1873.