Ludwig var eldste sønn av prinsregent Luitpold av Bayern og prinsesse Augusta av Habsburg-Toscana, datter av storhertugen av Toscana. Hans søsken var prins Leopold, prinsesse Therese og prins Arnulf.