Die Familie des Kurfürsten und sein umfangreicher Hofstaat kehrten 1701 von Brüssel nach München zurück. Nach Max Emanuels Flucht zurück in die Spanischen Niederlande nach der Niederlage in der Schlacht von Höchstädt am 13. August 1704 blieben Karl Albrecht und seine Geschwister zunächst bei ihrer Mutter, die nunmehr die Regentschaft in München ausübte. Im Mai 1705 verweigerten die österreichischen Behörden der Kurfürstin nach einem Aufenthalt in Venedig die Wiedereinreise nach Bayern und zwangen auch sie in ein Exil, das zehn Jahre dauern sollte. Da auch sein Vater, über den am 29. April 1706 die Reichsacht verhängt wurde, nach der Niederlage von Ramillies am 23. Mai 1706 von Brüssel ins Exil nach Compiègne ging, sah Karl Albrecht seine Eltern erst als 17-Jähriger wieder.