Charles naît à Bruxelles où son père l'électeur Maximilien-Emmanuel de Bavière résidait en tant que gouverneur des Pays-Bas espagnols depuis 1692. La famille retourna à Munich durant la guerre de Succession d'Espagne ; à la suite de la défaite de Höchstädt, en 1704, ses parents vivent séparément — son père ayant fait allégeance à la France, peut-être à cause de la rumeur qui accusait Vienne de l'empoisonnement du demi-frère de Charles, Joseph-Ferdinand, choisi par comme successeur. Sa mère Thérèse-Cunégonde Sobieska agit en qualité de régente de Bavière ; néanmoins, en , elle aussi a dû fuir en exil. Après la bataille de Ramillies, livrée le , Maximilien-Emmanuel se retira à Compiègne.