По пресечении в 1302 году ветви Витковичей из Крумлова, Чески Крумлов перешёл по наследству к Витковичам из Рожмберка (Розенбергам). Первым владельцем замка из этого рода стал Йиндржих I из Рожмберка, благодаря которому Нижний замок был расширен. Его сын Петр I из Рожмберка († 1347) построил Верхний замок, а Ольдржих II из Рожмберка (1403—1462) его перестроил. Крумловский замок оставался собственностью рода Рожмберков 300 лет — вплоть до 1601 или 1602 года. Цепкие Рожмберки удержали за собой Крумлов даже в период кровавых Гуситских войн. Более того, в это время ими были приобретены новые крупные поместья, что позволило значительно расширить территорию Крумловского замка. Во время правления Рожмберкским панством Вилема из Рожмберка и, в особенности, его брата Петра Вока, благодаря их неудачным политическим играм долги семьи увеличились настолько, что Петр Вок вынужден был в 1601 или 1602 году продать Крумловский замок королю Рудольфу II.