Bygningen ble oppført i midten av det 16. århundre av riksråden Mogens Gyldenstjerne på sin hustru Anne Sparres (d. 1564) arvede grunn, i nærheten av svogeren Jakob Sparres (d. 1573) familiegods på Svaneholm. Voldstedet på 65 x 75 m ble innredet som en øy i et lite vann med adgang fra en vindebro fra syd. Anlegget besto av to sammenbygde fløyer i nord og vest, og en økonomibygning i øst. Hovedbygningens fundament var i kampesten, med de øvrige etasjene oppført i tegl. Til tross for voldgrav og vindebro, var Stjerneholm mere en bekvem herregård enn en egentlig, befestet borg.