În cursul Războiului Livonian din 1558, Castelul Vastseliina a fost cucerită de trupele rusești după ce garnizoana livoniană a rezistat timp de șase săptămâni. Ulterior, în anul 1582, oștile poloneze au capturat castelul. În perioada Marelui Război al Nordului (1700–1721) Castelul Vastseliina a fost distrus și apoi a căzut în paragină.