Pave Pius IX utnevnte Kain den 12. februar 1875 til biskop av Wheeling. Bispevielsen ble foretatt av erkebiskopen av Baltimore, James Roosevelt Bayley, den 23. mai samme år i St. James-katedralen i Wheeling; medkonsekratorer biskopen av Wilmington, Thomas Andrew Becker, og biskopen av Richmond, James Gibbons.