Som hjelpebiskop virket Perry som pastor i og i New Orleans, generalvikar for erkebispedømmet og rektor for . Han bodde i prestegården på eiendommen til Ursuline Academy, den eldste pikeskolen i hele USA. I mange år var han kapellan for . Han døde på av komplikasjoner av Alzheimers sykdom.