Den 11. februar 1961 utnevnte pave Johannes XXIII ham til erkebiskop av Philadelphia; han ble innført i dette embede 22. mars samme år. Erkebiskop Krol deltok i alle de fire sesjoner av andre vatikankonsil.