Гогенцоллерны
После угасания линии Подебрадов Олесницкое княжество перешло роду Виртембергов, которые были владельцами замка до 1792 года, а от них — Вельфам, которые владели им до 1884 года (последний из Вельфов — Вильгельм, не жил в замке). Полузаброшенные здания в конце XIX века стали прусским леном. Новые владельцы — Гогенцоллерны, осуществили основательное восстановление замка, который до 1945 года выполнял функции их летней резиденции.