Fra desember 1919 var han Mogilevs/St. Petersburgs apostoliske administrator, og var på den tid den høyest rangerende og viktigste katolske geistlige i Sovjetunionen. Erkebiskop Cieplak ble arrestert to ganger av Tsjekaen men ble løslatt etter massive protester fra katolikker i Petrograd. Han var samtidig sentral i å den helloge Andreas Bobolas relikvier permantent overført fra Sovjetunionen til Roma. Erkebiskopen var overbevist om at dette var nødvendig for å skåne levningene fra desekrasjon.