Von Kaufmann war Sohn eines russischen Generals aus einer holsteinischen Familie. Nach dem Abschluss an der Militärisch ingenieurtechnischen Universität in Sankt Petersburg 1839 diente er ab 1844 im Kaukasus. Im Krimkrieg war er 1855 an der Belagerung und Einnahme von Kars beteiligt. 1864 wurde von Kaufmann zum Generaladjutant befördert, 1865 zum Generalgouverneur der Nordwestregion (Северо-Западный край) und Militärgouverneur von Vilnius und 1867 zum Militärgouverneur von Turkestan ernannt.