Det ble gjenoppbygget i 1803. I 1862 ble det utført en større ombygning, som arkitekt Vilhelm Tvede sto for. Da ble det føyet til en ekstra etasje. I 1899 ble det foretatt enda en ombygning ved August Colding. Heretter kom det til å fremstå i historisme med elementer fra både gotikk og renessanse.