Bybrannen i 1708 rammet også Kongsgården, men nyreisingen ble straks startet. Den største nye bygningen var Feltartillerihuset, som danner forlengelsen av vestfløyen mot sør. Den ble reist 1753–1755 av stein fra ringmuren og fra Ilsvika. I tillegg kom Artillerilavetthuset langs vestre sørside, reist i panelt bindingsverk, antakelig i 1780-årene. Dessuten ble det reist to militære magasinbygninger i tre: en i sør mot slutten av 1700-tallet, en i øst i 1809. Et første skritt mot ny anseelse ble tatt da det dekorerte hvelvrommet i Vesthuset fra 1826 ble brukt til å oppbevare kronregaliene. Det har siden vært kjent som «Regalierommet».