Eine 1756 getätigte Behauptung, dass im zweiten Markgrafenkrieg im Mai 1553 die Kapelle abermals zerstört wurde, ist nicht bestätigt. Es ist daher möglich, dass die Kapelle nach der Reformation durch Baufälligkeit oder Abbruch vernichtet wurde. Der zweite Kapellenaufbau war spätestens in der zweiten Hälfte des 16. Jahrhunderts wieder verfallen. Mit der Reformationszeit hatten die Wallfahrten zur Keilberg-Kapelle aufgehört und der letzte Kirchweihgottesdienst wurde 1523 abgehalten. Das neben der Kapelle errichtete Bruderhaus für den Bergmesner wurde zunächst weiter bewohnt, aber die Kapelle fand nur noch wenig Beachtung. Das Bruderhaus wurde 1568 zur Gewinnung von Baumaterial abgebrochen. Ein erneuter Wiederaufbau wurde nicht in Betracht gezogen. Der heutige Keilbergturm geht nicht aus der Kapelle hervor, sondern wurde auf den alten Fundamenten errichtet. Eine Baunachricht belegt, dass er im Jahr 1666 um- oder neugebaut wurde. 1748 erhielt er sein heutiges Erscheinungsbild. Der Offenhausener Pfarrer Andreas Würfel veröffentlichte die Geschichte der Kapelle und organisierte am 11. Juli 1756 einen festlichen Gottesdienst. Seitdem wird mit der Kirchweih bei der St. Ottmar- und Ottilienkapelle ein Gottesdienst vor dem Kapellenturm abgehalten. Für den Gottesdienst erhielt der Turm 1858 die charakteristische hölzerne Außenkanzel und 1890 einen Dachreiter für die Glocke.