У середині XIII замок сподобався синові Генрика II Побожного Болеславу II Лисому, відомому своїм авантюрним життям. Саме у вежі замку він ув'язнив у 1257 році вроцлавського єпископа Томаша I, а у 1277 році — його племінника, вроцлавського князя Генрика IV Праведного. У середині XIV століття, за панування свидницько-яворського князя Болеслава ІІ Малого, замок було вкотре розширено, саме в той час постав так званий середній замок. Після смерті Болеслава ІІ, його вдова, княгиня Агнєшка передала у 1368 році замок у ленне володіння лицарській родині фон Зедліц. У 1377 році власником замку став Тимо фон Колдіц, який його розширив і зміцнив. У 1428 році під час повстання гуситів повстанці безуспішно тримали замок у облозі.