אירמינגארד נולדה ב-29 במאי 1923 בברכטסגאדן, לרופרכט, נסיך הכתר של בוואריה ולאנטוניה, נסיכת לוקסמבורג, בתם של וילהלם הרביעי, הדוכס הגדול של לוקסמבורג ומריה אנה, נסיכת פורטוגל. בתקופת השלטון הנאצי עברו בני המשפחה לאיטליה, ולאחר מכן עברו להונגריה. לאחר כיבוש הונגריה בשנת 1944, כלאו הנאצים את בני המשפחה בזקסנהאוזן ובאפריל 1945 הם הועברו לדכאו, זמן קצר לפני שחרור המחנה, ולבסוף שוחררו על ידי צבא ארצות הברית. לאחר המלחמה שהו אירמינגארד ואחיותיה בלוקסמבורג, שם שלטה דודתה שארלוט, הדוכסית הגדולה של לוקסמבורג, ולאחר מכן היא שהתה במשך שנה אצל בן דודה אדולף, נסיך שוורצנברג במונטנה, ארצות הברית.