En 1219, el castillo fue tomado por los cruzados daneses dirigidos por Valdemar II. Según una leyenda muy popular entre los daneses, la primera bandera de Dinamarca ("Dannebrog") cayó del cielo durante un instante crítico de la Batalla de Lyndanisse, librada cerca del castillo, resultando los daneses victoriosos sobre los estonios.