I 2020 gjorde selskapet Arendal eiendom kjent at de ønsket å rive det gamle våningshuset fra Lundgreens tid, ganske enkelt for å slippe vedlikeholdsutgifter til et hus kommunen ikke lenger trenger. Fortidsminneforeningen og flere andre tok til orde for at Torbjørnsbu gård har hatt en viktig rolle i Arendals historie og at gårdstunet derfor må bestå med det gamle våningshuset inntakt. Dette synspunktet fikk gjennomslag og kommunen bestemte seg derfor for å selge våningshuset.