בשנת 1930 הלך קרל לודוויג בעקבות אחיו הבכור אוטו, נסיך הכתר של אוסטריה, ופנה ללמוד משפטים ומדעי המדינה באוניברסיטת לוון, בלגיה. לאחר הפלישה הגרמנית לבלגיה ברח קרל לודוויג עם משפחתו לפורטוגל, ומשם עברו לארצות הברית ולקנדה. בשנת 1943 התגייס קרל לודוויג לצבא ארצות הברית, ואף הוביל משא ומתן עם הונגריה מטעם נשיא ארצות הברית פרנקלין דלאנו רוזוולט. בשנת 1944 השתתף קרל לודוויג במערכה בנורמנדי, ובשנת 1947 פרש מהצבא בדרגת קפטן.