Schwennenbach war bereits früh Sitz einer Pfarrei. Zwischen 1543 und 1618 war der Ort protestantisch. 1704 wurde Schwennenbach von den Kaiserlichen vor der Schlacht bei Höchstädt mit Ausnahme der Kirche niedergebrannt. Von 1710 bis nach 1800 war das Gnadenbild, die 1686 in der Kirche aufgestellte Muttergottesfigur, Ziel einer Wallfahrt.