В 1653—1654 годах князь Януш Радзивилл реконструировал замок, придав ему современный вид. По его смерти усадьба перешла к Варловским, потом к Забелло. В 1819 году имение приобрел Михаил Тышкевич. В период Польского восстания 1830 года замок был разрушен российской армией. Сын Михаила Бенедикт Тышкевич с помощью итальянского архитектора Чезаре Аникини реконструировал усадьбу, построил хозяйственные помещения (теплицы, сараи, конюшни и т. д.). После реконструкции 1832—1855 годов замок приобрёл ренессансные черты, но некоторые следы готических элементов всё ещё видны (круглая в плане башня, которая, как думают, была частью тевтонского замка). Примерно в то же время усадьба была окружена садом в английском стиле, с большой оранжереей, где начали выращивать лимонные деревья. В оранжерее также содержались аллигаторы, обезьяны и попугаи. После своих путешествий граф Тышкевич, владелец дворца-музея, постоянно пополнял коллекцию новыми произведениями искусства, ювелирными украшениями, сувенирами из Египта, Индии, Китая, Японии, Африки, Америки, Кубы — страусиными яйцами, кокосовыми орехами и изделиями из их оболочек, рогами животных и др. Замок стал любимым местом развлечения знати со всей Польши и Литвы.