Den vellykkede tyske ekspansion mod øst fik den danske konge Valdemar Sejr til at gennemføre et krigsfelttog. I 1219 landede de danske styrker på de estiske kyster og tilkæmpede sig lidt efter lidt det nordøstlige Livland. Indtil midten af det 13. århundrede opførte danskerne de første stenbygninger på borgbakken. De var opført som et kastel og var omgivet af udstrakte palisader i træ. I 1267 blev borgen omtalt første gang som "Rakovor" i russiske kilder. I 1268 fandt Slaget ved Wesenberg sted i nærheden, hvor de samlede styrker fra Novgorod og Pskov slog danskerne og Sværdbroderordenen. Dette førte til at taberne i cirka 30 år indstillede sine ekspansionsforsøg mod øst.