קאוקג'י נולד בעיר טריפולי שבלבנון בשנת 1890 למשפחה בעלת שורשים טורקיים. בתקופה העות'מאנית למד בבית-ספר לקצינים של צבא האימפריה העות'מאנית באיסטנבול, ושימש כקצין זוטר בחיל הפרשים העות'מאני במלחמת העולם הראשונה, בתחילה במוסול שבעיראק ולאחר מכן בארץ ישראל. בשנים 1925–1927 השתתף במרד הדרוזים בסוריה. עם דיכוי המרד, לאחר שהצרפתים דנו אותו למוות שלא בפניו, הגיע לסעודיה, ב-1928 שם סייע למלך עבד אל-עזיז אבן סעוד בהקמת הצבא הסעודי. בשנת 1932 הגיע לבגדאד לבקשת המלך פייסל שם לימד באקדמיה צבאית, אך לא ניתק את קשריו עם התנועה הפן-ערבית. לפי מקורות בריטים עסק משנת 1934 בתכנון המרידות הצבאיות בסוריה או בארץ ישראל, תוך התחייבות להבריח נשק מעיראק ולגייס מתנדבים אם יפרוץ מרד. הוא אף החל להכין את אנשיו לקראת מלחמה כאשר החלה השביתה הלאומית בסוריה בשנת 1936, אך נמנע מלהתערב כשהוחל במשא ומתן עם צרפת.