Kaufmannista tuli 1838 insinööriupseeri ja hän palveli uransa alkuaikoina lähinnä Kaukasuksella. Hän komensi pioneeripataljoonaa Krimin sodan aikana ja ansioitui Karsin piirityksessä vuonna 1855, minkä johdosta sai 1857 ylennyksen kenraalimajuriksi. Hän palveli sotaministeriössä, kunnes hänet nimitettiin 1865 Liettuan ja 1867 vastaperustetun Turkestanin provinssin kenraalikuvernööriksi. Venäjän pyrkiessä laajentamaan alueitaan Keski-Aasian suunnalla Kaufmann ryhtyi johtamaan provinssinsa alueelta naapurimaihin tehtyjä sota- ja valloitusretkiä. Vuonna 1868 hän valtasi Samarkandin kaupungin ja alisti Buharan kaanikunnan Venäjän proktektoraatiksi, vuonna 1873 miehitti puolestaan Hivan kaanikunnan, jonka alueet Amu-Darjasta pohjoiseen liitettiin Venäjään. Hän valloitti myös Kokandin kaanikunnan vuonna 1875 ja se liitettiin Venäjään seuraavana vuonna. Britannian hallituksen mielestä Venäjän laajeneminen Keski-Aasiassa uhkasi Britannian etuja Afganistanissa, joten tsaari Aleksanteri II ei antanut Kaufmannille lupaa enempiin valloitusretkiin. Tämän jälkeen Kaufmann keskittyi kehittämään provinssinsa hallintoa ja toteutti muun muassa maareformin.