על פי האגדה נשאר אטילה ההוני בהר מילהוס (Burg Mulhus) כאורחם של בני בריתו משבט התורניגי (Thuringii), לפני שהוא המשיך בדרכו אל הקרב במישורים הקטאלונים. בחלקים הצפון-מזרחיים של מרכז העיר, בסביבת כנסיית גאורג הקדוש, נתגלו ממצאים ארכאולוגיים גדולים, המיוחסים ליישוב גדול מהתקופה התורינגית/פרנקית (המאה ה-6 עד ראשית המאה ה-10), שניתן לראותו כמקורה של מילהאוזן. העיר עצמה מוזכרת לראשונה בשנת 967 כחלק מהשטחים שהוענקו על ידי אוטו השני, קיסר האימפריה הרומית הקדושה לאשתו תאופניו (Theophanu). העיר לא נחשבה לרכוש אישי של הקיסר אלא שהוא היה אדונה מתוקף תפקידו והיא עברה ליורשו לאחר מותו, גם אם הוא לא היה בנו. הקיסרים החזיקו במילהאוזן חצר קיסרית (Kaiserpfalz) שאותה הם הקפידו לבקר החל מאוטו השלישי ועד להיינריך השלישי במהלך המאות ה-10 וה-11. בחירתו של פיליפ משוואביה, מלך גרמניה ב-1198 הסתיימה בטקס שבועת אמונים שהתקיים במילהאוזן ובו נכח ולטר פון דר פוגלוויידה.