Fra 1926 til 1957 ledet han bispedømmet Panevėžys. Det nye sovjetiske regime som kom til makt mot slutten av andre verdenskrig satte i gang en hard kirkeforfølgelse. Mange av kirkens folk ble arrestert, fengslet, deportert. I 1947 var biskop Paltarokas den eneste fungerende katolske biskop i Litauen.