לודוויג נולד ב-22 ביוני 1913 בארמון נימפנבורג, מינכן, לפרנץ, נסיך בוואריה, בנו של לודוויג השלישי, מלך בוואריה, ולאיזבלה אנטוניה, נסיכת קרוי, בתם של קרל אלפרד, דוכס קרוי ולודמילה, נסיכת ארנברג. בעקבות התבוסה הגרמנית במלחמת העולם הראשונה פרצה המהפכה הגרמנית, שבה נאלץ סבו להתפטר מתפקידו, ומשפחתו של לודוויג התלוותה אליו להונגריה, שם הקים אביו חוות הרבעה מפורסמת. בשנת 1939, עם פרוץ מלחמת העולם השנייה, התגייס לודוויג לוורמאכט, אולם בשנת 1941 הוא נאלץ לעזוב את הצבא, בעקבות חוק הנסיכים. בשנת 1945, לקראת סוף מלחמת העולם השנייה, נאלצו בני המשפחה לברוח מביתם, והם עברו להתגורר בשטארנברג. ב-19 ביולי 1950 התחתן לודוויג עם בת דודתו אירמינגארד, נסיכת בוואריה, בתם של רופרכט, נסיך הכתר של בוואריה ואנטוניה, נסיכת לוקסמבורג, ממנה נולדו לו 3 ילדים. בשנת 1960 קיבל לודוויג את התואר אביר מסדר גיזת הזהב, וב-17 באוקטובר 2008 הוא מת בביתו, כתוצאה מדלקת ריאות.