Żyliński var av adelsslekt. Han studerte ved seminaret i Vilna, ble diakonviet 24. mai 1825 og presteviet 2. april 1826. Han ble så dekan ved den katolske katedral i Minsk. Fra 1827 unnderviste han også ved det katolske seminar i Minsk og var rektor for menigheten Ivenets.