Etter at Bergen festningsverker ble lagt ned og kommandantstillingen opphevet, ble bygningen fra 1960 brukt som sjefsbolig for Sjøforsvarskommando Vestlandet. Bygningen var preget av forfall i tiden 1970–77, etter at ny admiralsbolig ble bygget på Wallemsneset. Mellom 1978 og 1998 ble hovedbygning og hageanlegg restaurert.