På 1860-tallet innstilte Fritzøe jernverk sin jernverksdrift; i 1868 ble jernverket solgt. De norske jernverkene ga ikke lenger lønnsom drift. Gruvedriften på Torbjørnsbu stoppet opp. Arendalsgruvene, som hadde levert malm til alle de norske jernverkene, la ned driften en etter en, også Torbjørnsbu. Grevskapet solgte Torbjørnsbu gård som nå ble ervervet av telegrafbestyrer Lundgren. Gårdens historie som gruvegård var slutt.