Sverdbroderordenen innen Den tyske orden kjøpte borgen sammen med andre store deler av det nordlige Estland 29. august 1346 og for det meste av borgens historie var borgen i denne ridderordenens eie. Dette var det østligste av Den tyske ordens borger. Sverdbroderordenen bygget om anlegget slik at det skulle bedre møte deres behov, herunder ferdigstillelsen av Hermannstårnet.