Borganleggets utforming er flere ganger blitt endret og tilpasset, og de vesentligste endringene ble gjort mens det ble eid av Ingerd Ottesdatter, kansler Ove Bjelke, lagmann Abraham Dreyer, slekten Holtermann og godseier Johannes Heftye. Borgen brant ned i 1916. Restaurering var ferdig i 1961. Borgen var tidligere en del av en større jordeiendom. Staten eier selve borgen med Statsbygg og Nordenfjeldske Kunstindustrimuseum som forvaltningsorganer. Borgen er åpen for omvisninger fra juni til august.