Замок виник як фортеця волинян у Х ст. Протягом Х—ХІІІ ст. існував як дитинець літописного Дубна. Зруйнований монголами в 1240–1241 рр. Приблизно в кінці XIV — початку XV ст. князь Федір Острозький спорудив дерев'яно-земляне укріплення, яке, звичайно, мало дещо інший вигляд, аніж тепер. Ця споруда була оточена земляними валами, огороджена дерев'яним частоколом по периметру і тісно забудована всередині житловими та господарськими приміщеннями.