I 1584 kjøpte kong Frederik IIs yngre bror hertug Hans herresetet og omdøpte det til Østerholm. Den nærliggende byen ble nedlagt og dens jorder kom under Østerholm.