Han ble utnevnt til erkebiskop av Louisville av pave Johannes Paul II den 28. desember 1981, og ble innsatt i embedet den 18. februar året etter. Han var med på å planlegge de to første pavebesøkene til USA. Kelly var medlem av en rekke organisasjoner og kommisjoner, og mottok flere æresdoktorer.