Etter å ha fått et hjerneslag i 1984 søkte Harris om sin fratreden som biskop for bispedømmet Austin til pave Paul II. Paven godtok dette den 25. februar 1985.[3] Harris tilbrakte sin pensjonisttilværelse i Houston, og bedrev slektsforskning, fotografering og studerte datasystemer.