Den senere biskop i Bergen, Erik Pontoppidan, var slottsprest på Nordborg i årene 1723-1726. I 1730 kom Nordborg igjen under kronen. Det ble tilleggsjord til Nordborg på ca. 400 ha, men i de efterfølgende årtier ble mye av jorden utstykket til bondergårder, og i 1766 ble slottet solgt til private og deler av bygningerne revet og solgt som byggematerialer.