I forbindelse med pantobligasjonen måtte Ancher oppgi bergamtsretten og underlegge seg Moss bys jurisdiksjon. En rekke aktiva ble også pantsatt. Verket fikk tiendefrihet for årene 1765–1770, det betød imidlertid lite da det var kompensasjon for et kostbart hammerverk som hadde brent ned. Utover 1770-årene ble Erich Anchers gjeldsproblemer med jernverksdriften stadig større, hans eiendommer ble suksessivt pantsatt eller solgt, inntil han til sist måtte gi opp den 22. november 1776 og overdra Moss Jernverk til sine søskenbarn Bernt og Jess Anker.