Apostelkirken ble kalt «», men ble skadet både ved bybrannene i 1413 og 1476, trolig også under vitaliebrødrenes angrep i 1429. I 1529 påla kong Frederik I av Danmark og Norge (1471–1533) høvedsmannen Eske Bille å få Apostelkirken revet, og rekvirerte steinen til Gottorp slott som da var under oppføring. I stedet brukte Bille den til sin herregård Månstorp i Skåne.