Karel Albert was de zoon van keurvorst Max Emanuel en diens tweede gemalin Theresia Kunigunde Sobieska, dochter van Jan III Sobieski. Hij werd geboren te Brussel toen zijn vader landvoogd van de Spaanse Nederlanden was. In diens strijd tegen Oostenrijk werd hij gevangengenomen en daarna samen met zijn broers als "graaf van Wittelsbach" te Klagenfurt en later in Graz opgevoed. Na zijn vrijlating in 1715 maakte hij reizen en voerde hij in 1717 het bevel over Beierse hulptroepen in de Oostenrijks-Turkse Oorlog (1716-1718). Hij huwde in 1722 met Maria Amalia, dochter van keizer Jozef I, die daarbij echter afstand deed van haar aanspraken op de Oostenrijkse successie.