Den 6. mai 1983 ble O'Connor utnevnt til biskop av Scranton, og den 29. juni samme år ble han innført i dette embedet i byens katedral. Men bare noen få måneder senere, den 26. januar 1984, ble han utnevnt til erkebiskop av New York. Det var etter at erkebiskopen der, kardinal Terence James Cooke, hadde dødd i oktober, 65 år gammel. O'Connors embedsinnførelse der fant sted 19. mars samme år.