У 1149 році Луцьк витримав шеститижневу облогу з боку полків Юрія Долгорукого. Роком пізніше місто не зміг взяти галицький князь Володимирко Володарович, а в 1155 році така ж невдача спіткала галицького князя Ярослава Осмомисла. У 1175–1180 роках у дитинці збудовано кам'яну церкву Івана Богослова. Саме тоді дитинець формувався як княжий двір — головна резиденція удільних луцьких князів. Тут проживала князівська родина, різні чиновники. У 1240 році укріплення міста сильно постраждали під час монгольської навали на Русь, а в 1261 році вони, як і ціла низка інших укріплень Західної Русі, були остаточно зруйновані за наказом монгольського нойона Бурундая. В середині XIV століття на місці давньоруського дитинця литовський князь Любарт звів кам'яний замок, відомий як замок Любарта.