尔·阿尔布雷希特的父亲属于支持西班牙与法国的一派，其家族在战争中被奥地利俘虏。卡尔·阿尔布雷希特被带到维也纳，在那里由耶稣会会士教育。1715年，由于两支都臣服于奥地利的哈布斯堡王室，维特尔斯巴赫家族得以恢复统一。1717年，卡尔·阿尔布雷希特参加皇帝查理六世反对奥斯曼帝国的战争，在战斗中指挥一支巴伐利亚军队。1726年，他继承了父亲的选侯爵位。尽管卡尔·阿尔布雷希特在查理六世为确保其女儿玛丽亚·特蕾西娅继承奥地利的《1713年国事诏书》上签字，但在查理六世去世后，他是立即否认玛丽亚·特蕾西亚的继承权的