I 1983 ble han utvist fra fedrelandet av Stroessner-diktaturet; han levde så i fire år i eksil i Roma. I 1994 utnevnte pave Johannes Paul II ham til biskop av San Pedro, en av de fattigste delene av Paraguay.