Efter krigen blev Kaufmann stabschef ved generalkommandoen i Slesvig, avancerede 1854 til oberstløjtnant og chef for Generalstabens taktiske Afdeling, men udnævntes året efter til amtmand i Kiel, Bordesholm og Cronshagen Amter, kurator for dettes universitet og kammerherre, medens han 1857 valgtes til medlem af Rigsrådet. 1860 opgav han disse stillinger og blev militærbefuldmægtiget i Frankfurt samt oberst i Generalstaben. December 1863 ansattes han som stabschef hos general de Meza og blev efter Dannevirkes rømning kommandør for 2. Infanteribrigade, hvormed han deltog i Dybbøls forsvar og i slaget om Als.