Замок та «місця» Іказного були засновані у 1504 році браславським старостою Іваном Сапегою на основі привілею короля Польщі та великого князя литовського Олександра Ягеллончика. У 1515 році московські війська обложили замок і спалили місто. Польський історик Алессандро Ґваньїні у другій половині 16 ст. зазначив, що «Іказнь — цегляний замок і дерев'яне місце … за 2 милі від Браслава». Під час Інфлянської війни (1558—1583) Сапега розмістив у 1561 році в замку значний гарнізон найманців. Після Яна Сапеги містом та замком частково володіли князі Пронські, Страбовські, Синявські та Єзлавецькі. Останній у 1589 р. продав замок разом із «гарматами та рушницями» Яну Сапезі за 15 тис. злотих. У 1654 році замок було взято і місто розграбовано московськими військами. Руйнування замку датується Північною війною 1700—1721 рр., у якій Сапеги стали на бік С. Лещинського та шведського короля Карл XII.