9 октября 1654 года, во время войны России с Речью Посполитой, замок был занят войсками А.Н. Трубецкого под влиянием известия о капитуляции Смоленской крепости. В 1663 году «фортеция Горская» упоминается как очень разрушенная, но в документах 1680-х годов уже упоминаются замок и городской острог. В последний раз укреплении Горского замка пытался использовать в 1708 г. шведский король Карл XII. Позже Горский замок потерял свое военное значение.