Den 16. desember 1927 ble Kelly utnevnt til tredje biskop av Boise av pave Pius XI. Han ble bispeviet den 6. mars 1928 av biskop McGrath, med biskopene Mathias Clement Lenihan og Charles White som medkonsekratorer.