У час Лівонскай вайны Усвят быў захоплены маскоўскімі войскамі (1563), якія ў 1566 г. узвялі ў ім замак. Двойчы, у 1569 і 1579 гг., войска Рэчы Паспалітай спрабавала вярнуць Усвят, апошняя спроба была паспяховай. У 1633 годзе кароль і вялікі князь Уладзіслаў Ваза загадаў сваім коштам абнавіць замак. З пачаткам вайны Расіі з Рэччу Паспалітай (1654) Усвяцкі замак быў захоплены рускімі і спалены.