Den 4. februar 1757 ble huset solgt til grossist og direktør i Det svenske ostindiske kompani, Herman Petersen, og han gjorde huset og slottet Erstavik til fideikommiss som det er den dag i dag. Etter det ble det kalt Petersenska huset.