Kelly ble utnevnt til titulærbiskop av Tegea og hjelpebiskop i Providence den 25. november 1963 av pave Paul VI. Russell McVinney, biskop av Providence bispeviet ham den 30. januar året etter, og medkonsekratorer var Joseph McShea, biskop av Allentown, og Gerald Vincent McDevitt, hjelpebiskop i Philadelphia.