I 1661 solgte Frederik III godset til Peder von Ufden fra Hamborg, og i 1670 kom det til slekten Bülow. Slottet besto da av et firefløyet anlegg i to stokkverk hvor det nordre hus hadde to karnapper og en vindeltrappe. Den forfalne slottsbygningen ble nå revet ned og stenene benyttet til gjenoppførelsen av det nærliggende Bygholm. Grunnen sammen med godset ble frasolgt. I 1829 ble staten eier av grunnen og solgte den til kammerjunker von Thienen, som oppførte et nytt Stjernholm.