An der Stelle der heutigen Kirche befand sich seit dem 17. Jahrhundert eine kleine Antoniuskapelle, welche von den Vettern Jakob und Johann Lidl gestiftet worden ist. Diese Kapelle wurde ab dem Jahr 1704 als Dank für die Verschonung des Ortes im Spanischen Erbfolgekrieg durch einen Neubau ersetzt, der 1708 eingeweiht wurde. Unter Pfarrer Matthias Samweber wurde die Kirche in den Jahren 1734–36 um einen ovalen Anbau erweitert. Außerdem wurde in dieser Zeit auch die Umgebung der Anlage umgestaltet. So wurden der Zwiebelturm, das Priesterhaus und eine Grotte gebaut bzw. angelegt. Auch die Deckenfresken, die als die schönsten und wertvollsten Fresken des 18. Jahrhunderts im bayerischen Raum gelten, stammen aus dieser Zeit. Die Fresken sind das einzige erhalten gebliebene Kuppelgemälde des südtiroler Malers Johann Evangelist Holzer. Der Entwurf für die Kirche stammt vom spätbarocken Baumeister Joseph Schmuzer aus Wessobrunn, der zuvor bereits die Pfarrkirche St. Martin in Garmisch gebaut hatte.