Podle legendy pobýval Attila († 453) před bitvou na Katalaunských polích v místě zvaném "Burg Mulhus". Právě "Burg Mulhus" mělo být na území dnešního Mühlhausenu. Nicméně nejstarší vykopávky pocházející z okolí místního kostela svatého Jiřího se datují na období někdy mezi 6. až 10. stoletím. První písemná zmínka o obci pochází z roku 967, kdy Ota II. daroval toto území manželce Theofano. Obec existovala jako "ab initio", nedědila se tedy v rodině, nýbrž v rámci císařů Svaté říše římské. Sami císaři měli v Mühlhausenu falc a pobýval v ní v průběhu 10. a 11. století například Ota III. nebo Jindřich III. Černý. Se zvolením Filipa Švábského ale vládci Svaté říše římské přestali v Mühlhausenu pobývat.