I det 17. århundre var krypten begravelsesplass for hertugene av Sachsen-Zeitz, og deres kister står der den dag i dag.