I 1601 døde Gabriel Sparre som siste mann av sin slekt, få år senere, i 1608, overtok Gyldenstjerneslekten det nærliggende Svaneholm. Stjerneholm ble heretter overlatt sin egen skjebne som stenbrudd.