Во время гуситских войн город неоднократно переходил то в руки католиков, то гуситов. После войны в Бела-под-Бездезем было начато строительство замка, впоследствии ставшего дворянской резиденцией. В конце XVII века Бела-под-Бездезем перешёл во владение к Вальдштейнам, которые начала реконструкцию замка и приведение всех элементов застройки к единому архитектурному ансамблю в стиле барокко.