Petit-fils du duc Charles-Guillaume de Brunswick-Wolfenbüttel, général de l'armée prussienne dont les menaces envers les parisiens à l'été 1792, loin de protéger le roi de France, précipitèrent la chute de la monarchie (Manifeste de Brunswick) et qui mourut à la Bataille d'Iéna, le petit prince est le fils aîné de Frédéric-Guillaume de Brunswick-Wolfenbüttel (1771-1815) et de Marie de Bade (1782-1808), Charles, est orphelin de mère à l'âge de 4 ans, tandis que son père, opposé ouvertement à Napoléon voit ses possessions annexées par l'Empire Français et meurt au combat en 1815. Charles et son frère cadet sont élevés dans leur famille maternelle, d'abord en Suède où sa mère a trouvé refuge pendant la guerre de la Quatrième Coalition (1806/1807) puis dans le Grand-duché de Bade.