I knapt 50 år ble borgen brukt som bolig for familien Holgersen Ulfstand. Fra denne tid er det funnet tegn på en eksklusiv husholdning med noen av de dyreste artikler man kunne kjøpe i Europa: Glass fra Venezia, motivpresset stengods fra Rhinområdet, spansk keramikk og rustningdetaljer fra Maximilian 1.s tid. Luksusen forsvant med Jens Holgersen Ulfstands død, og siden ble borgen brukt som kornmagasin i omkring 400 år.