קונסטנטין פון קאופמן נולד במשפחה ממוצא אוסטרי שעברה לרוסיה עוד במאה ה-18, ואף המירה דתהּ לנצרות אורתודוקסית. הוא סיים את הכשרתו כמהנדס צבאי באוניברסיטה צבאית, ובשנת 1844 החל לשרת באזור הקווקז. במהלך מלחמת קרים השתתף במצור על מצודת קארס, וניהל משא ומתן לכניעת חיל המצב האנגלי. בשנת 1861 התמנה לתפקיד בכיר במשרד ההגנה הרוסי. במהלך מילוי תפקידו התקרב לשר ההגנה דמיטרי מליוטין. בשנת 1865 התמנה למושל גוברניית וילנה ולמפקד הצבאי באזור.