Monsignor Vaivods var fengslet av de sovjetiske myndigheter fra 1958 til 1960, og ble da satt til tvangsarbeid som politisk fange i en konsentrasjonsleir i Mordovia. I 1962 ble han generalvikar for Riga. I 1964 mottok han en pavelig innbydelse til å reise til Roma for å delta ved den tredje sesjon av Andre Vatikankonsil.