Skolen holdt først til i leide lokaler, men kjøpte i 1752 Rådhusgata 9, i samme kvartal som bygningen i Tollbugata 10 som den overtok i 1802. I fasaden ble innmurt en medaljong av huggen stein med Frederik Vs kronede speilmonogram og årstallet 1753. Steinen er flyttet til Krigsskolens mur mot Tollbugata. I 1798 kjøpte skolen den store hagen midt i kvartelet til «Lege- og Exercerplads» for å sikre at «den physiske Dannelse ikke tabes af Sigte». Med base i Krigsskolen kom i gang i 1773, fikk snart tilhold i en bygning på Akershus festning, og ble senere til Norges Geografiske Oppmåling og Statens kartverk.