À l'âge de 15 ans, avec sa famille, il est obligé de fuir Vienne durant la révolution de 1848, alors que son oncle l'empereur Ferdinand est forcé d'abdiquer, son père l'archiduc François-Charles obligé de renoncer à ses droits au trône et son frère aîné François-Joseph à devenir empereur à l'âge de dix-huit ans. Charles-Louis en a quinze. Ses deux autres frères, Maximilien et Louis-Victor, ont respectivement seize et six ans.