W czasie Wojen inflanckich zamek w Białym Kamieniu został zdobyty po oblężeniu przez Iwana Groźnego w 1573 i odbity przez Szwedów 4 lata później.