Navnet «Kommandantboligen» ble brukt etter at Forsvaret overtok bygningen i 1899. I årene 1913–18 ble hovedbygningens andre etasje innredet og brukt til bolig for kommandanten for Bergen befestninger under nøytralitetsvernet i forbindelse med første verdenskrig. Første etasje ble brukt som underoffisersskole for festningsartilleriet og mineforsvaret. Under andre verdenskrig brukte okkupasjonsmakten bygningen som hovedsete for Artillerigruppe Bergen.