Полноценную резиденцию начал строить . Он родился в 1523 году, в семь лет лишился отца и воспитывался матерью в имении Скархульт. Около 1552 года Стен Розенспарре женился на Метте Розенкрантц, дочери Олуфа Розенкрантца из известного датского дворянского рода Розенкрантц. В 1565 году Стен пал в в Халланде во время очередной датско-шведской войны. Его вдова Метте Розенкранц завершила реконструкцию замка Скархульт. Спустя пару лет Метте снова вышла замуж. Её супругом стал , датский министр финансов. Он владел рядом крупных поместий и . После смерти Педера Оксе в 1575 году Метте унаследовала огромное состояние мужа и таким образом стала самой богатой женщиной Дании.