Im 14. Jahrhundert wurde das Retterschwanger Tal besiedelt, dabei wurde das Mitterhaus erstmals als Weiler erwähnt. 1572 erwarben die Grafen Fugger Grundbesitz in Hindelang und im Retterschwanger Tal. Die Fugger richteten im Mitterhaus einen Stutenhof zur Pferdezucht ein. Nach mehrfachem Besitzerwechsel gelangt das Gut Mitterhaus 1654 in den Besitz des Hochstifts Augsburg. Zwischen 1767 und 1768 entstand das Gebäude in seiner heutigen Form. Im Zuge der Säkularisation fiel das Mitterhaus 1803 an das Königreich Bayern. Das Gut wurde versteigert und von der Familie Heyl erworben. Durch einen Tauschvertrag erwarb Prinzregent Luitpold von Bayern 1900 das Mitterhaus. Das Gut blieb auch nach dem Ende der Monarchie in Bayern 1918 im Besitz der Wittelsbacher, die es als Sennalpe nutzen. Seit 2003 ist das Mitterhaus wieder in Privatbesitz und wird von Ende Mai bis Ende September als Sennalpe bewirtschaftet.