Senere ble verket eid av kjøpmannen Daniel Knoph, frem til han i 1681 solgte verket til Johan Halvorsen Groll, som var eier til 1691. På begynnelsen av 1700-tallet ble familien Richelieu (fra herregården Sem ved Hokksund) majoritetseiere. Verket ble så overtatt av høyesterettsdommer Justus Heindrich Weichart og biskop Bartholomeus Deichmann. I 1746 ble Jakob Neumann eier, og Neumann-familien eide verket i drøyt 60 år. Jacobs sønn Frantz Edler Neumann ble den som overtok verket etter ham i 1799 og fabrikken Friderichsminde på Modum ble da innlemmet i jernverket.