У вайну Расіі з Рэччу Паспалітай 1654—1667 гадоў замак быў заняты ў 9 кастрычніка 1654 г. войскамі А. М. Трубяцкога пад уплывам весткі пра капітуляцыю Смаленскай крэпасці. У 1663 годзе «фортецыя Горская» згадваецца як вельмі разбураная, але ў дакументах 1680-х гадоў ужо ўпамінаюцца замак і гарадскі астрог. У апошні раз умацаванні горскага замка спрабаваў выкарыстаць y 1708 годзе шведскі кароль Карл XII. Пазней горскі замак страціў сваё ваеннае значэнне.