עם תום מלחמת העולם הראשונה בנובמבר 1918 פורקה האימפריה האוסטרו-הונגרית, אביו ויתר על השלטון, והמשפחה יצאה לגלות בשווייץ, ולאחר מכן באי מדיירה השייך לפורטוגל. בשנת 1920 חזרה הונגריה להיות ממלכה, כשמיקלוש הורטי משמש כעוצר, אולם קרל לא חזר לכהן כמלך הונגריה. ב-1922 נפטר קרל במדיירה, והמשפחה עברה לספרד ולאחר מכן לבלגיה. בעקבות הקרב על בלגיה במלחמת העולם השנייה, נמלטה המשפחה לארצות הברית. לאחר המלחמה חזר לאירופה, והקים את בית אוסטריה-אסטה. צאצאיו ממשיכים להשתמש בתואר "ארכידוכס אוסטריה-אסטה", אם כי בנו לורנץ, המשמש כראש הבית הנוכחי, הוסיף לשמו את התואר "נסיך בלגיה" בעקבות נישואיו לאסטריד, נסיכת בלגיה. רוברט נפטר ב-7 בפברואר 1996 בבזל שבשווייץ בגיל 80.