В 1831 г. по состоянию здоровья Горский был переведён в Тару, откуда написал Бенкендорфу, что проживавшие в Берёзове ссыльные декабристы Ентальцев, Фохт и Черкасов «"обнаруживают злобление и ненависть к правительству"». Проведенное расследование выявило вздорность доноса. Напротив, управляющий Тобольскою губернией доносил в 1832 г., что Горский «"при разговорах насчёт российского правления иногда бывает дерзок, отлично привержен к полякам, коих прежние права защищает с жаром"» и «"вступается в дела, ему не принадлежащие"». 16 марта 1833 г. тарский окружной начальник сообщал тобольскому губернскому управляющему, что Горский «"с дерзостью относится насчет российского правительства"», что при проходе через Тару пленных поляков «"оправдывал ихние поступки, упрекал русское правительство в жестоком якобы с пленными обращении"». Несмотря на дружеские отношения с ссыльными, по доносу одного из них — И. Высоцкого — Горский в том же году был арестован якобы за подготовку мятежа среди поляков с целью «завоевания Бухары и Китая» и отправлен через Тобольск в Омск. Под арестом находился до 2 апреля 1835 г., до окончания следствия, установившего его непричастность к обвинению. 27 февраля 1836 освобождён от суда.