Etwa fünf Kilometer vom heutigen Vastseliina entfernt befinden sich die Ruinen der ehemaligen Bischofsburg von Vastseliina. Deren Bau wurde am 25. März 1342 begonnen. Er wurde der Jungfrau Maria geweiht und hieß deshalb "Frouwenborch". Später wurde die Burg auch "Novum castrum", "Neuhausen" oder "Schloss Neuhausen" genannt. Sie war seit dem 14. Jahrhundert beliebtes Ziel von Pilgerfahrten. Im Livländischen Krieg wurde die Burg schwer beschädigt, allerdings wieder aufgebaut. Erst im Nordischen Krieg wurde die Anlage 1702 durch russische Truppen zerstört und ist seitdem Ruine.