Він був побудований із дерева росіянами під час окупації Польщі у часи Лівонської війни (1558—1583), у 1567 році за наказом Івана IV після битви на Улі (1564). Спалений у 1708 році. Пізніше на місці замку був побудований домініканський костел та монастир, який був підірваний після Другої світової війни і врешті-решт зруйнований наприкінці 1960-х. Зараз на місці замку розташована будівля гімназії № 1 (колишня школа № 2), побудована в 1970 році.