I 1736 overtok grev Wedel Jarlsberg hele anlegget og laget et nytt partisipantskap bestående av 1.000 deler, hvorav greven selv beholdt kontroll med 928. I 1737-38 hentet han til Konnerud et stort antall tyske bergarbeidere med familier, i alt ca. 80 personer. For å unngå den kostbare malmtransporten begynte han straks å regulere vannløpet og overføre maskineriet til Ekholt, hvor malmknuseri, vaskeri og smelteovner ble anlagt nedenfor de øvre vannfall, bakenfor og nedenfor eiendommen Gården. Grev Wedel Jarlsberg døde på Gården i 1738, og verket ble overtatt av hans 20 år gamle sønn, grev Frederik Christian Otto Wedel Jarlsberg (s.d.). Iffert døde i 1739 og ble etterfulgt av sønnen Otto Iffert, som under titel av visedirektør foresto verkets ledelse til 1745 da han ble avløst av Hans Alstrup, som bar titel av inspektør. Alstrup ble i 1751 avløst av bergskriver Matthiasen, som etter bare to måneder i stillingen ble avløst av kammeråd Joachim Hagerup. Etter en liten lysning i driften ble den i 1748 atter ulønnsom, og den nye greve forsøkte å selge underskuddsforetagendet til kong Frederik V som i 1749 avla et besøk under sin reise til Kongsberg. Greven forlangte imidlertid 130.000 riksdaler, som verket til da hadde kostet ham, dette var mer enn det dobbelte av taksten og kongen takket nei til tilbudet. Greven opprettet deretter et nytt partisipantskap med 500 andeler. En utvidelse av driften ble vanskeliggjort av for dårlig vannkraft, og i 1751 ble driften noe redusert. Verkets arbeidere var fritatt for militærtjeneste, mens bøndene på stedet kunne ilegges mulkt hvis de ikke utførte den kjøring som de ble pålagt. Håpet om lønnsom drift ble gjenopplivet etter at det i 1761 ble funnet en kobbergruve i Strøm skog, men den var snart uttømt og i 1766 ble driften sterkt innskrenket. Direktør Hagerup tok avskjed og ble etterfulgt av hyttemester Anton Flastrup, som i de siste år var verkets eneste hovedbetjent idet han forente stillingene som direktør, bergskriver, schichtmester og hyttemester. I 1770 opphørte virksomheten etter at verket hadde kostet familien Wedel Jarlsberg ca. 1 million kroner, og greven hadde måttet selge bl.a. en del av sine kirker, deriblant Skoger kirke, for å klare seg. Verket hadde i løpet av ca. 40 år produsert sølv for 325.224 riksdaler (7 tonn), bly for 30.485 (445 tonn) og kobber for 16.790 riksdaler (36 tonn). Greven forsøkte igjen – uten resultat – å selge verket. Først etter hans død i 1776 ble Jarlsbergverket utstykket og solgt ved en stor auksjon i desember 1777. Her ble gårder og plasser, bygninger og maskiner solgt, for en stor del til verkets arbeidere og oppsittere samt bønder i området. Auksjonen innbragte 19.192 riksdaler. Mer enn 50 mineraler er i nyere tid funnet ved Konnerudgruvene.