Fritzøe jernverk i grevskapet Laurvigen var landets største jernverk og eieren var kongens halvbror, statholder Ulrik Fredrik Gyldenløve. Gyldenløve rettet en anklage mot arendalsborgerne for at de drev gruver og malmutvinning i strid med gjeldende privilegier og fikk medhold hos kongen. Slik ble arendalsborgernes interesser i gruvevirksomheten i distriktet sterkt redusert. I et kongelig reskript av 1692 fikk Fritzøe enerett til all malm som skulle selges i arendalsområdet. Greven kjøpte gruvegårdene Torbjørnsbu og Klodeborg; fra før eide han allerede Bråstad. I 1737 ble Torbjørnsbu gård knyttet enda nærere til Laurvigen grevskap; det ble bestemt at grevskapets gruvegårder i Arendalsområdet, også Torbjørnsbu, skulle være lensgods under grevskapet Laurvigen.