В 1623 году король Швеции Густав Адольф подарил имение фельдмаршалу Герману Врангелю. Врангель начал переделывать замок из средневековой крепости в величественный дом позднего Возрождения. Однако во время Северной войны замок был сожжён, а интерьеры разрушены. После войны император Пётр Великий подарил замок реформатору Генриху фон Фик. В конечном итоге, он перешёл по наследству в собственность Вольдемара Иоганна фон Лаува в 1750 году, который начал масштабную реконструкцию, превратив крепость в роскошный дворец в стиле рококо. Позже в замке разместился фарфоровый завод. По прошествии времени, до земельной реформы 1919 года, замок принадлежал российскому дворянству, роду Гагариных.