I 1978 trakk han seg på grunn av dårlig helse; og ble biskop emeritus av bispedømmet. Fra det øyeblikk forlot han det offentlige liv; tilbød seg å oppholde seg i Pamplona, men etter insistering fra lokalbefolkningen valgte han å forbli i Bilbao. Fra 1984 var han i særlig alvorlig helsetilstand; i 1985 fikk han hjerneslag og døde på grunn av lungesykdom.