I Ludvigs regjeringstid ble gutten Kaspar Hauser funnet i Nürnberg. Han var et «barn av naturen» som ikke kunne snakke. Ryktet skulle ha det til at han var en bortgjemt sønn av Karl av Baden, og med andre ord, legitim arving til tronen. Kaspar Hauser døde etter et attentat 1833.