ארסן נולד ב-16 באפריל 1859 לאלכסנדר קאראג'ורג'ביץ', נסיך סרביה ופרסידה ננאדוביץ'. סבו קאראג'ורג'ה היה גיבור המרד נגד האימפריה העות'מאנית שהוביל להכרה בסרביה כנסיכות אוטונומית ונחשב למכונן סרביה המודרנית. אחיו הגדול היה פטר קאראג'ורג'ביץ'. שנה לפני לידתו של ארסן, הודח אביו בידי מילוש אוברנוביץ' והמשפחה גלתה לרומניה. ארסן נולד בטימישוארה, והתחנך בפריז ובסנקט פטרבורג. כמו אחיו הגדול, הוא הצטרף ללגיון הזרים הצרפתי, ובין השנים 1883-1885 לחם במלחמת סין–צרפת. לאחר מכן הוא התגייס לצבא האימפריה הרוסית.