Замок, ймовірно, було побудовано Болеславом I Суворим, князем свідницько-яворським, однак немає джерел, що підтверджують цей факт. Існуючі частини мурів готичного замку постали за князя Бернарда Свідницького та його брата Болеслава II Зембицького. У 1392 році, після смерті дружини Болеслава II Зембицького, княгині Агнешки, замок перейшов під владу чеської корони . У XV столітті він був власністю лицарських родин, які під час гуситських воєн займалися грабунками. Черговий власник замку, Мацей фон Логау, у 1545—1587 роках здійснив значну його розбудову. Під час Тридцятилітньої війни замок захопили та частково знищили шведи. У другій половині XVIII століття замок перебував у облозі під час селянських заворушень. Останніми власниками замку, покинутого з 1774 року, була родина фон Зедліців. У 1789 році південне крило верхнього замку частково сповзло, однак вже в 1824 році з ініціативи професора Йоганна Густава Бюшінга, тодішнього власника замку, розпочалися роботи з його реконструкції та збереження. Вони внесли зміни, які не відповідали історичному вигляду будівлі. Подальші роботи здійснювалися у 1868—1869 роках та наприкінці XIX століття. В 1904 році було відновлено сграфіто та відкрито туристичну базу з корчмою. Подальші праці зі збереження замку було проведено після Другої світової війни. З 2008 року замок перебуває у власності гміни Валім, яка провела до замку водопостачання, а 24 квітня 2018 року відкрила в замку готель та ресторан.