Den 10. mars 1989 utnevnte pave Johannes Paul II ham til apostolisk administrator av Vilkaviškis og titulærbiskop av . Erkebiskopen av Kaunas, kardinal Vincentas Sladkevičius, bispeviet ham den 18. mars samme år i St. Peter og Paul-katedralen i Kaunas; medkonsekratorer var Julijonas Steponavičius, erkebiskop av Vilnius, Juozas Preikšas, apostolisk administrator av Panevėžys, og Vladas Michelevičius, hjelpebiskop i Kaunas.