Etter at Sovjetunionen okkuperte Litauen for andre gang, ble Svarinskas forfulgt for «antisovjetiske aktiviteter» i Sovjet-Litauen. Han forlot presteseminaret og støttet i all hemmelighet de litauiske antisovjetiske partisanene. Han ga dem medisin, nyheter og identitetskort. I desember 1946 ble Svarinskas arrestert, torturert og dømt. Fra 1947 til 1956 var han i Abese-leiren (Komi i Sovjetrussland).