Den 9. november 1903 ble han utnevnt av pave Pius X til biskop av Vilno. Tro mot sitt selvbilde om ikke å være bare en «biskop i sakristiet», ble han selv valgt inn i den første riksdumaen i 1906. I 1907 ble han forvist til Tbilisi i Kaukasus av den russiske regjering.