Liiviläiset tuhosivat pian luostarin, mutta se rakennettiin uudelleen 1519. Luostarin kupeeseen kasvoi kylä ("posad"), ja 1550–1560-luvuilla luostarin ja kylän suojaksi rakennettiin kivimuuri torneineen. 1500-luku oli luostarin kukoistusaikaa, uusia kirkkoja rakennettiin ja siellä toimi pari sataa munkkia. Siitä kehittyi myös tärkeä Venäjän länsirajan puolustuslinnake, joka Liivinmaan sodassa 1581–1582 kesti Puola-Liettuan kuninkaan Stefan Báthoryn armeijan piirityksen. Vuosina 1611–1616 luostari torjui Puolan armeijan sekä Kustaa II Aadolfin johtaman Ruotsin armeijan hyökkäykset. Suuren Pohjan sodan (1700–1721) alussa Pietari Suuri vahvisti linnoitusta, ja tämän sodan jälkeen luostari menetti sotilaallisen merkityksensä.