Etter krigen ble ikke arbeidet på kirken tatt opp igjen, men den var fremdeles en del av de planene som ble fremlagt for den nye bydelen i 1649. I 1660 ga man imidlertid opp å fullføre prosjektet og kongen – Frederik III – ga sin tillatelse til at man kunne bruke bygningen som stenbrudd. I 1661 overtok Henrik Ruse rettighetene til kirken og fikk også skjøte på tomten, hvor han bygget et hus til seg selv av noe av materialene fra kirken. Resten ble formodentlig benyttet i byggingen av Kastellet, som Ruse sto for. Tårnets kraftige murer var det siste som ble revet ned (ved hjelp av fire tønner krutt fra Tøjhuset), og i 1664 var hele det store bygningsverket borte.