I 1803 købte J.E. Bang den gamle slotsbanke, i dag Slotscentret, hvor ruinerne af Holbæk Slot var beliggende, i alt 44 tdr. land. Joakim Emilius Bang opførte først og fremmest en mølle, der fik navnet Holbæk Slotsmølle. Derefter påbegyndte han opførelsen af en bygning, hvor det i svenskekrigen 1658 nedbrændte Holbæk Slot havde ligget. Den huser i dag Odd Fellow-logen "Kong Skjold ". Han købte senere Oldgaarden i Aagerup Sogn, som han drev og kaldte Joachimshvile, i dag Wegenersminde.