Во время русско-польской войны (1654—1667) Казимир Пац попал в русский плен, после возвращения из которого в 1662 года был назначен пробстом виленским и гераненским. В 1664 году получил сан епископа смоленского, а в 1668 году — епископа жемайтского.