Zijn familie had Oostenrijkse wortels, maar was al meer dan honderd jaar in dienst van de tsaar. Von Kaufman volgde een opleiding tot militair ingenieur, vocht mee tijdens verschillende campagnes in de Kaukasus en bereikte in 1855 de rang van kolonel. Tijdens de Krimoorlog commandeerde hij de sappeurs. Na de capitulatie van Kars onderhandelde hij met generaal William Fenwick Williams over de eisen van overgave. In 1861 kwam hij direct te werken onder de Russische minister van Oorlog Dmitri Milyutin die het leger moest reorganiseren. Twee jaar werd hij benoemd tot gouverneur van Vilnus waar het tsarenbewind op dat moment de macht van de Poolse aristocratie op het platteland probeerde te breken.