Latgalierne ble overvunnet av Sverdbroderordenen i 1342. De bygde en borg kalt på en øy i sjøen, og denne fungerte som beskyttelse for handelsrutene fra Riga til Pskov. Byen som oppsto nær borgen ble også kjent som Marienburg.