Поскольку Ян Крк Швиговский из Ризмберка (ум. в 1450), будучи верными католиком и приближённым короля, в начале гуситских войн выступил против партии подобоев, замок Раби стал одним из центров, где укрывались сторонники католической партии, и местом хранения их ценностей, а также имущества близлежащих монастырей. В 1420 году замок Раби был взят, разграблен и сожжён таборитскими войсками во главе с гетманом Яном Жижкой из Троцнова, при этом в замке были сожжены семеро монахов Милевского монастыря. Как свидетельствует хронист Лаврентий из Бржезовой, в замке Раби "«было сложено для сохранения духовными и светскими лицами из округи множество добра безо всякого счета: в слитках золото, серебро, драгоценные камни и одежда, ценное оружие. Всю эту добычу, за исключением, конечно, денег, оружия и коней, табориты вынесли из замка, сложили в одну кучу и сожгли, а также предали сожжению за стенами замка семерых монахов и священников, захваченных ими в указанном замке. Юных же сыновей владетеля замка Иоанна, по прозвищу Крк, капитан Жижка... взял на своё попечение. После этого замок они разоряют и сжигают»". В 1421 году Ян Жижка опять осадил замок, но во время штурма перед воротами замка был ранен стрелой в единственный оставшийся у него глаз, после чего ослеп полностью (в память об этом событии замок Раби получил в литературе прозвание «Чешская Мефона»). Несмотря на это, замок вновь был взят таборитами.