Czerski skrev på polsk og latin. Han oversatte fabler av Phaedrus til polsk og av Gavrila Derzjavin til latin, publiserte Samogitias historie med graverte kart av Samogitias bispedømmer og Salantais menighet, skrev en latinsk-polsk ordbok, og skrev om leksigrafiske emner.