Im 14. Jahrhundert nahmen die Wallfahrten zu dem Marienbild in der Marienkapelle zu, so dass der Burggraf von Kirchberg mit dem Bau einer würdigen größeren Kirche begann. In der Blütezeit der Gotik entstand der hohe Chor. Der Wehrturm im Westen wurde Ende des 15. Jahrhunderts gebaut. Sowohl im sächsischen Bruderkrieg und in der Reformation kam es zum Rückgang des Interesses und der Verfall des Gotteshauses begann. Im 17. Jahrhundert wurde deshalb der Chor vom dreischiffigen Langhaus getrennt und eine behelfsmäßige Decke eingezogen, so dass die Ziegenhainer wieder eine Kirche hatten.