Sin barndom tilbragte Ludvig ved sin farfar Karl den stores hoff, og det sies at Ludvig var sin farfar særskilt kjær.