צאו קון נולד בשנת 1862 למשפחת בנאי סירות ענייה, כשהיה רק נער מכר בדים ברחוב. בשנת 1882 הצטרף כטוראי אל צבא חווי, זרוע צבאית של צבא האימפריה הסינית של צ'ינג אשר נוהלה באופן פרטי בידי האריסטוקרט לי הונג-ג'אנג. צאו קון שירת במספר צבאות אזוריים של אריסטוקרטים בקיסרות עד אשר הוצב בשנת 1895 בטיינג'ין, איפה שפגש במפקד האזורי יואן שה-קאי והשניים הפכו מקורבים אחד לשני. בעוד יואן עלה בדרגתו הצבאית כך גם צאו. בשנת 1902 בעת יואן הפך למושל מחוז זילי, צאו הפך למפקד הרגימנט ה-11 של הארמייה המחוזית. בשנת 1911, לאחר התקוממות ווצ'אנג החלה מהפכת שינהאי נגד השלטון הקיסרי, צאו נותר נאמן לממשל הקיסרי של שושלת צ'ינג וצבאו לחם נגד המורדים בשאנשי. עם הצלחת המהפכה והקמת הרפובליקה הסינית, צאו הבטיח מחויבותו לרפובליקה החדשה כאשר יואן הפך לנשיא הרפובליקה הסינית. כאשר יואן הפך אוטוקרט והכריז על עצמו קיסר סין חונְגּ-שְׂײֵן, צאו קודם וקיבל מידיו את תואר האצולה "בו" (מקביל לרוזן).