Den 4. februar 1947 brøt det ut brann. NAFs arkiver i første etasje og gården ble påført store brannskader. Man søkte om ikke å utbedre skaden, da gården likevel skulle rives, men huset ble pålagt reparert, fordi leietakere hadde så lange kontrakter at rivingen ikke var helt nær forestående. I 1961 overtok kommunen bygningen med det uttrykkelige formål å få det revet, men langvarige leiekontrakter gjorde det igjen uaktuelt de første årene. I 1968 flyttet Sosialistisk Folkeparti inn. I 20 år var det hovedkontor, først for SF, siden for SV, som delte lokalene med en del av de eldre leietakerne. Partiets leiekontrakt betinget at de skulle flytte ut ved rivingen, som fortsatt truet huset.