Під час гуситських воєн місто неодноразово переходило від католиків до гуситів. Після війни в Белі-под-Бездезем було розпочато будівництво замку, який згодом став панською резиденцією. Наприкінці XVII століття місто перейшло у володіння Вальдштейнів, які розпочали реконструкцію замку і зведення всіх будівель до єдиного архітектурного ансамблю в стилі бароко.