Under andre verdenskrig ble kommandantboligen tatt i bruk av tyskerne. Boligmangelen i Oslo etter krigen gjorde at huset ble bygget om til en rekke leiligheter for familier som manglet bolig.