Ludvig var sønn av Ludvig II, hertug av Bayern og pfalzgreve av Rhinen, og Mechthild (Matilda), en datter av kong Rudolf I.