Після смерті Ольдржіха I з Рожмберка в 1390 його син і єдиний спадкоємець Їндржіх III втратив інтерес до Гельфенбурзького панства і Баворова, обравши своєю резиденцією інше місце. Міські привілеї він підтвердив, але нових не надав. Під час гуситських воєн грамоти з міськими привілеями для збереження від ворогів і вогню були замуровані в стіну. Проте їх повністю знищила вологість. У 1474 представники міського самоврядування звернулися до владаржа Їндржіха V з Рожмберка із проханням знову письмово оформити і підписати привілеї міста, що і було зроблено. Міському суду при цьому було даровано додаткове право виносити смертні вироки.