Bis zur Mitte des 13. Jahrhunderts erbauten die Dänen die ersten steinernen Gebäude auf dem Burgberg. Sie hatten die Form eines Kastells und waren von ausgedehnten hölzernen Palisaden umgeben. 1267 wurde die Burg erstmals in russischen Quellen als "Rakovor" erwähnt. 1268 fand in der Nähe der Burg die Schlacht bei Wesenberg statt, die mit einem Sieg der vereinigten russischen Truppen aus Nowgorod und Pskow über die vereinigten Truppen der Dänen und der Schwertbrüder endete. Dies führte dazu, dass die Verlierer für ca. 30 Jahre ihre Expansionsversuche nach Russland einstellten.