Flere offentlige bygninger ble reist på tomter som ble avgitt fra festningens forterreng. Ved Bankplassen tegnet Grosch Christiania Theater og lokalavdelingen av Norges Bank. I tillegg ga festningsområdet tomter til mange nye militære monumentalbygg og til Den gamle Logen, som også tjente som byens rådhus og konsertlokale. Ved Karl Johans gate tegnet Grosch også Basarene og Brannvakten som omgir Domkirken, noen av de tidligste norske byggverk i middelalderinspirert stil med rød, upusset tegl som fasademateriale.