Den 24. mars 1884 ble Antanas Baranauskas utnevnt til titulærbiskop av og hjelpebiskop i Žemaitija. Han ble ordinert til biskop av biskopen av Lutsk, Szymon Marcin Kozłowski, den 24. juni samme år; medkonsekratorer var Anton Johann Zerr, hjelpebiskop i Tiraspol, og Cyril Lubowidzki, hjelpebiskop i Lutsk.