Borganlegget slik det står i dag er resultatet av århundrer med utvikling, endringer og tilpasninger fra hver enkelt eier, og de viktigste personene som deltok i utformingen var Ingerd Ottesdatter, kansler Ove Bjelke, lagmann Abraham Dreyer, slekten Holtermann og godseier Johannes Heftye. Borgen brant ned i 1916. En restaurering ble påbegynt i 1920-årene, og var ferdig i 1961. Borgen var tidligere en del av en større jordeiendom, men jorden er nå skilt fra. Staten eier selve borgen med Statsbygg og Nordenfjeldske Kunstindustrimuseum som forvaltningsorgan. Borgen er åpen for omvisninger fra juni til august.