Adam Stanislaus Krasinski va ser expulsat de la diòcesi en conseqüència de la insurrecció de 1836, però continuà governant la diòcesi fins al 1883, quan es refugià a Cracòvia. El seu successor, Karol Hrynieweki, va haver d'exiliar-se a Jaroslav després de dos anys d'episcopat, i el 1890 abdicà i es retirà a Galítsia. Durant el seu exili governà la diòcesi com a vicari patriarcal Liudvikas Zdanovičius. El 1890 Antanas Pranciškus Audzevičius, canonge de Sant Petersburg i docte teòleg, va ser nomenat bisbe de Vílnius. Va morir el 1895, i la diòcesi va passar a ser governada per Louis Zdanowicz, bisbe titular de Dionysias. El 1897 va ser succeït pel canonge Stephen Alexander Zwerowicz, sent traslladat al 1902 a la seu de Sandomierz. El seu lloc va ser ocupat pel baró Edward Ropp, que es dedicà a organitzar el moviment catòlic a la diòcesi, tot i incórrer en l'hostilitat del govern rus. El bisbe Ropp va ser desterrat a Pskov, i la diòcesi va ser confiada a Kazimieras Mikalojus Michalkevičius com a administrador apostòlic.