Каетан Солтык вернулся в политику в середине 1760-х годов, когда русский посол князь Николай Репнин, обладавший огромным влиянием в Речи Посполитой, стал поддерживать униатов, протестантов и православных и требовать равноправия с римокатоликами. В 1767 году на Репнинском сейме Каетан Солтык выступил против всевластия Репнина. 14 октября 1767 года по приказу посла епископ краковский был арестован и вместе с тремя другими польскими сенаторами (Юзефом Анджеем Залуским, Вацлавом Ржевуским и Северином Ржевуским) отправлен в ссылку в Калугу. Каетан Солтык выступал против предоставления униатам, православным и протестантам равных прав с католиками (диссидентский вопрос), он издал специальный манифест, призывал к молитве за сохранение веры и национальной свободы.