המשפחה הגדולה נהגה לגור רוב השנה בטירה בעיר שוורצאו באוסטריה תחתית, ובקיץ לחזור ללוקה שבאיטליה. לצורך כך נשכרה רכבת מיוחדת. סאווריו ואחיו למדו לדבר איטלקית, צרפתית, גרמנית, ספרדית, פורטוגזית ואנגלית. אחותו זיטה העידה מאוחר יותר שפעם שאלה את אביה כיצד עליהם להגדיר את עצמם, והוא השיב: "אנחנו נסיכים צרפתים ששלטו באיטליה". בפועל, מבין 24 ילדים של רוברטו, רק שלושה, נולדו באיטליה, ביניהם סאווריו. ב-1907 נפטר רוברטו, וב-1910 הגיעו ילדיו להסכמה כיצד עליהם לחלק את נכסיו. שנה לאחר מכן, אחותו של סאווריו, זיטה, נישאה לארכידוכס קרל. בעקבות רצח פרנץ פרדיננד ב-1914 הפכו קרל וזיטה ליורשי העצר של האימפריה האוסטרו-הונגרית.