Gyldenløve grunnla i 1671 Larvik og fikk i 1677 hovedansvaret for posten (postsjef). Ernst, som talte både engelsk og dansk, ble så ansatt hos den engelske James Wicker som i 1681 ankom Kragerø for å begynne som toller.