Etter å ha tiltrådt i 1958, befant han seg i konflikt med myndighetene og KGB. Etter å ha nektet å adlyde kravene fra de kommunistiske partiorganisasjoner om å forby prester å gi religionsundervisning til barna, organisere retretter, ha ungdomsdeltagelse i kirkelige aktiviteter (ministranttjeneste ved den hellige messe, deltagelse i prosesjoner, og i kor), fortsatt å oppmuntre kristne til å være tro mot evangeliet, og ha ordinert prester, ble den 18. januar 1961 deportert til Žagarė. Tallrike troende, til tross for alle hindringer, dro til avsidesliggende Žagarė for å besøke sin biskop, selv om de visste at biskopen og hans gjester ble grundig avlyttet i den 34 m² lille, insektfylte leiligheten hans. KGB hadde postet sine ansatte i leiligheten ovenpå.