На межі XIV—XV століть, хоча замок перебував у власності ратиборських князів, його також використовували, як місце зупинки під час подорожі до Битома, цешинські князі. У 1428—1435 роках поблизу міста велись бої під час гуситських війн. Місто зазнало значних руйнувань, але жителі знайшли притулок у замку і з швидкої відбудови Рибника можна зробити висновок, що замок вдалося відстояти. Відбудоване місто вже незабаром було знову спалене та розграбоване лицарями-розбійниками. У той час Рибником заволодів ратиборський князь Вацлав III Рибницький, який перебудував замок на свою садибу. Він втратив Рибник у 1473 році, коли замок відібрав чеський король Матвій Корвін і передав його дворянину з Нев'ядома як нагороду за боротьбу проти свого князя.