קרל אלברכט נולד ב-6 באוגוסט 1697 למקסימיליאן השני עמנואל, הנסיך הבוחר מבוואריה ותרזה סובייסקה, בתם של יאן השלישי סובייסקי, מלך פולין ומריה קז'ימייז'ה. במהלך מלחמת הירושה הספרדית פוצלה משפחתו, וקרל שהה במעצר בווינה עד לשנת 1715. בשנת 1717 הצטרף קרל אלברכט לאוסטרים, במלחמה ההבסבורגית-עות'מאנית (1716–1718).