W 1302 Rakvere otrzymało przywileje miejskie na prawie lubeckim, a w 1347 król duński Waldemar III sprzedał Krzyżakom ziemie, na których leżał zamek. Na miejscu dotychczasowej twierdzy (wykorzystując i poszerzając dotychczasowe założenie) wznieśli oni potężny zamek, jako siedzibę lokalnych władz zakonnych. W XVI w. dobudowano okrągłą wieżę. Zamek był własnością Krzyżaków przez ponad dwieście lat, do czasów wojen inflanckich. W ich wyniku zamek przeszedł na własność Rosjan, którzy dobudowali do zamku nieregularne zewnętrzne mury obronne. Duńczycy podejmowali próby odbicia zamku i miasta z rąk rosyjskich, ale bezskutecznie.