Dei første nedskrivne kjeldene om Mulhouse går tilbake til 1100-talet. Han var ein del av det sørlege elassiske fylket Sundgau i Det tysk-romerske riket. Frå 1354 til 1515 var Mulhouse ein del av Décapole, ei sameining av frie keisarbyar. Etter eit forsøk frå Det tysk-romerske riket på å ta byen attende blei adelsfolk som blei skulda for å ha forårsaka forsøket utvist. Dei forsøkte å ta kontroll over Mulhouse under guerre des Six deniers, tysk Sechs Plappertkrieg frå 1466 til 1468. Mulhouse blei omleira, men vann krigen ved hjelp frå Bern, Solothurn og fleire andre sveitsiske byar. Etter dette fjerna Mulhouse seg stadig meir frå Décapole og vart ein del av Sveits i 1515. Byen vart derfor ikkje annektert av Frankrike ved Freden i Westfalen i 1648, som resten av Sundgau. Han vart så rekna som ein fri republikk knytt til Sveits, før han vart annektert av Frankrike 4. januar 1798, under Direktoriet-perioden.