В середине XIII замок понравился сыну Генриха II Набожного Болеславу II Рогатке, известному своей авантюрной жизнью. Именно в башне замка он заточил в 1257 году вроцлавского епископа Томаша I, а в 1277 году — его племянника, вроцлавского князя Генриха IV Праведного. В середине XIV века, при господстве свидницко-яворского князя Болеслава II Малого, замок был в очередной раз расширен, появился так называемый средний замок. После смерти Болеслава II, его вдова, княгиня Агнешка передала в 1368 году замок в ленное владение рыцарскому роду фон Зедлицев. В 1377 году владельцем замка стал Тимо фон Колдиц, который его расширил и укрепил. В 1428 году во время восстания гуситов повстанцы безуспешно держали замок в осаде.