Von 1804 bis 1805 gehörte die Stadt zu Österreich, mit den Verträgen von Brünn (10. bis 16. Dezember 1805) wurde Immenstadt schließlich bayerisch. Die militärische Besetzung der Stadt durch bayerische Truppen erfolgte am 28. Dezember 1805, die sogenannte Zivilbesitznahme wird auf den 10. März 1806 datiert. Im April und im Mai 1809 sprang der Vorarlberger und Tiroler Volksaufstand unter Andreas Hofer gegen die bayerisch-napoleonische Herrschaft auf das Oberallgäu über. In Immenstadt versammelten sich am 16. Mai mehrere tausend bewaffnete Bauern, um einen Anschluss an Österreich zu erzwingen. Bei einem Gefecht nahe der Ortschaft Stein schlugen die Aufständischen ihre aus Richtung Kempten anrückenden Gegner zurück. Dennoch konnte die Erhebung in der Region um Immenstadt keine Massenwirksamkeit entwickeln. Im August 1809 war der Volksaufstand im Allgäu endgültig gescheitert. Motiv des Aufstandes war wohl die Enttäuschung über die bayerischen Verwaltungsmaßnahmen, durch die ein großes Unmutspotenzial entstanden war.