Сын и наследник Йиндржиха III, пан Ольдржих II из Рожмберка, достиг совершеннолетия и принял управление семейными владениями накануне гуситских войн (1419—1434). Частью этих войн стала локальная пятнадцатилетняя война между Ольдржихом из Рожмберка и возникшей недалеко от замка Пршибенице общиной таборитов, ставшей центром радикального крыла гуситского движения и превратившейся вскоре в город Табор. Замок приобрёл важнейшее стратегическое значение, поскольку находился в непосредственной близости от Табора и вместе с замком Пршибенички контролировал водный путь из Табора на север страны. Вместе с тем Ольдржих II использовал замок как тюрьму для захваченных им гуситских проповедников, некоторые из которых были здесь замучены насмерть. Кроме того, замок использовался окрестными светскими и духовными феодалами в качестве безопасного хранилища, в частности, когда в 1420 году войска Яна Жижки приблизились к Милевскому монастырю его аббат Сватомир успел укрыть все монастырские ценности в замке Пршибенице.