З цього періоду розпочалась історія удільного Дорогобузького князівства, яке у ХІІ ст. стало занепадати і князі перебрались до Пересопниці. На цей час у Дорогобужі мали б бути закладені монастир і зведена церква на місці сучасної. Свідчення цьому віднайшов у ХІХ ст. Орест Фотинський, виявивши у мурах церкви кладку з давньоруської плінфи, вірогідно, ХІ ст. Ця знахідка була підтверджена у 1980-х роках при обстеженні церкви. Напевно, церква була зруйнована 1241 при переході через Волинь орд монгольського хана Батия чи покинута внаслідок повного винищення міст, населення. Дорогобуж 1230 потрапив до Луцького князівства, занепав, а з падінням Галицько-Волинського князівства 1371 став власністю князів Острозьких як село. Лише 20 грудня 1514 Костянтин Острозький отримав привілей Сигізмунда I Старого на закладення замку у Дорогобужі і надання міського права. Це була подяка короля за перемогу під Оршею. У привілеї Дорогобуж надавався Острозькому з « монастирем Virginis Mariae (Пречистої Богородиці»