I 1860-årene foretok man en omlegging av gatene rundt kirken og dette medførte endringer i kirkegårdens avgrensning og adgangsforholdene til kirken. Som følge av dette gjennomgikk kirken en større ombygging i 1871-72 under arkitekt Ludvig Fenger. Den gamle kirkegårdsmuren ble fjernet og det ble satt et støpejernsgitter rundt kirken og kirkegården, unntatt korurtegården. I korurtegården ble det bygget en ny større skriftestol langs Slotsholmskanalen forbundet til koret av en mindre bygning med presteværelser m.m. Bygningene ble utført i samme stil som det store kapellet. Korurtegårdens avgrensing mot den nåværende Holmens Kanal ble lukket med en ny mur med hoved- og sideportaler fra den gamle muren. Det ble også bygget et nytt trappetårn i korurtegården.