ルートヴィヒはミュンヘンでバイエルン王子ルイトポルト（ルートヴィヒ1世の三男）とトスカーナ大公女アウグスタ（大公レオポルド2世の娘）の間に生まれた。
路德维希三世出生于慕尼黑，柳特波德亲王与托斯卡纳大公利奥波多二世之女奥古斯塔的长子。