Den 26. januar 1951 ble Kupfer utnevnt til apostolisk prefekt for det nyopprettede prefekturet Taichung på Taiwan av pave Pius XII. Den 16. april samme år ble han bispeviet av biskop John William Comber, M.M.; medkonsekrernde var biskop Walter William Curtis av Bridgeport i Connecticut, og hjelpebiskop John Joseph Maguire (New York).